twint README

The project's README from github.com/twintproject/twint. As one markdown file: README.md.

TWINT - Twitter Intelligence Tool

2 3

PyPI Build Status Python 3.6|3.7|3.8 GitHub license Downloads Downloads Patreon

No authentication. No API. No limits.

Twint is an advanced Twitter scraping tool written in Python that allows for scraping Tweets from Twitter profiles without using Twitter's API.

Twint utilizes Twitter's search operators to let you scrape Tweets from specific users, scrape Tweets relating to certain topics, hashtags & trends, or sort out sensitive information from Tweets like e-mail and phone numbers. I find this very useful, and you can get really creative with it too.

Twint also makes special queries to Twitter allowing you to also scrape a Twitter user's followers, Tweets a user has liked, and who they follow without any authentication, API, Selenium, or browser emulation.

tl;dr Benefits

Some of the benefits of using Twint vs Twitter API:

Limits imposed by Twitter

Twitter limits scrolls while browsing the user timeline. This means that with .Profile or with .Favorites you will be able to get ~3200 tweets.

Requirements

Installing

Git:

git clone --depth=1 https://github.com/twintproject/twint.git
cd twint
pip3 install . -r requirements.txt

Pip:

pip3 install twint

or

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

Pipenv:

pipenv install git+https://github.com/twintproject/twint.git#egg=twint

March 2, 2021 Update

Added: Dockerfile

Noticed a lot of people are having issues installing (including me). Please use the Dockerfile temporarily while I look into them.

CLI Basic Examples and Combos

A few simple examples to help you understand the basics:

More detail about the commands and options are located in the wiki

Module Example

Twint can now be used as a module and supports custom formatting. More details are located in the wiki

import twint

# Configure
c = twint.Config()
c.Username = "realDonaldTrump"
c.Search = "great"

# Run
twint.run.Search(c)

Output

955511208597184512 2018-01-22 18:43:19 GMT <now> pineapples are the best fruit

import twint

c = twint.Config()

c.Username = "noneprivacy"
c.Custom["tweet"] = ["id"]
c.Custom["user"] = ["bio"]
c.Limit = 10
c.Store_csv = True
c.Output = "none"

twint.run.Search(c)

Storing Options

Elasticsearch Setup

Details on setting up Elasticsearch with Twint is located in the wiki.

Graph Visualization

graph

Graph details are also located in the wiki.

We are developing a Twint Desktop App.

4

FAQ

I tried scraping tweets from a user, I know that they exist but I'm not getting them

Twitter can shadow-ban accounts, which means that their tweets will not be available via search. To solve this, pass --profile-full if you are using Twint via CLI or, if are using Twint as module, add config.Profile_full = True. Please note that this process will be quite slow.

More Examples

Followers/Following

To get only follower usernames/following usernames

twint -u username --followers

twint -u username --following

To get user info of followers/following users

twint -u username --followers --user-full

twint -u username --following --user-full

userlist

To get only user info of user

twint -u username --user-full

To get user info of users from a userlist

twint --userlist inputlist --user-full

tweet translation (experimental)

To get 100 english tweets and translate them to italian

twint -u noneprivacy --csv --output none.csv --lang en --translate --translate-dest it --limit 100

or

import twint

c = twint.Config()
c.Username = "noneprivacy"
c.Limit = 100
c.Store_csv = True
c.Output = "none.csv"
c.Lang = "en"
c.Translate = True
c.TranslateDest = "it"
twint.run.Search(c)

Notes:

Contact

If you have any question, want to join in discussions, or need extra help, you are welcome to join our Twint focused channel at OSINT team

twint (twintproject/twint)

Searching Database…

16.4K ·GitHub
Twint
archived
Что это такое?Twint — это инструмент на Python для сбора данных из Twitter: твитов, подписчиков, подписок, лайков и других данных. Он работает без официального API, поэтому на него не распространяются ограничения API и не нужна регистрация.
Это инструмент командной строки или модуль, который я импортирую в свои скрипты?Оба варианта: его можно запускать напрямую из командной строки (например, 'twint -u username'), а также импортировать как модуль Python с настраиваемым форматированием для скриптов.
Как его установить и запустить?Установите через Git или Pip (или Pipenv), затем запускайте команды вроде 'twint -u username' из терминала. Если обычная установка не работает, есть готовый Dockerfile.
Что нужно для работы, кроме Python?Python 3.6+ и набор библиотек, которые устанавливаются вместе с ним: aiohttp, aiodns, beautifulsoup4, cchardet, elasticsearch, pandas, pysocks, geopy, fake-useragent, py-googletransx и другие.
Сбор данных всегда работает и проект ещё поддерживается?Этот репозиторий архивирован и больше не разрабатывается, поэтому он может сломаться при изменениях сайта Twitter. Даже когда всё работает, Twitter по-прежнему ограничивает сбор профилей и избранного примерно 3200 твитами, а аккаунтам с теневым баном для поиска нужен флаг --profile-full.
Нужны ли мне аккаунт Twitter или ключ API, чтобы пользоваться этим?Нет. Twint не выполняет запросов к API с авторизацией, поэтому можно собирать твиты и списки подписчиков и подписок полностью анонимно, не регистрируясь в Twitter.
Какие форматы вывода поддерживает Twint?Результаты можно записать в обычный текстовый файл, CSV, JSON или базу данных SQLite либо сразу отправить в Elasticsearch.
Зачем использовать это вместо официального API Twitter?Официальный API отдаёт только последние ~3200 твитов, требует авторизации и имеет лимиты запросов. У Twint таких ограничений нет, и он может получить почти все твиты пользователя.
Можно ли визуализировать собранные данные?Да, проект поддерживает визуализацию собранных данных в виде графов. Подробности настройки описаны в вики проекта.
Для чего нужна функция 'translate'?Экспериментальный флаг позволяет собирать твиты на одном языке и автоматически переводить их на другой через Google Translate, например: '--lang en --translate --translate-dest it'.
What are similar projects?maigret, social-analyzer, instaloader, MediaCrawler, gallery-dl, Agent-Reach, Photon, scraping-apis-for-devs
Which topics is it in?kibana, twitter, data-extraction, scraper, scraping, social-media, elasticsearch, osint, python3, web-scraping, cli-tool, security-tools
Creator
twintproject
Size
4.5 MB
Stars
16.4K
Updated
CommitMar 02Releasev2.1.4Oct 19
Age
9y
Commits · 90 Days