Photon README

The project's README from github.com/s0md3v/Photon. As one markdown file: README.md.


Photon
Photon

Incredibly fast crawler designed for OSINT.

pypi

Photon Wiki • How To Use • Compatibility • Photon Library • Contribution • Roadmap

Key Features

Data Extraction

Photon can extract the following data while crawling:

The extracted information is saved in an organized manner or can be exported as json.

save demo

Flexible

Control timeout, delay, add seeds, exclude URLs matching a regex pattern and other cool stuff. The extensive range of options provided by Photon lets you crawl the web exactly the way you want.

Genius

Photon's smart thread management & refined logic gives you top notch performance.

Still, crawling can be resource intensive but Photon has some tricks up it's sleeves. You can fetch URLs archived by archive.org to be used as seeds by using --wayback option.

Plugins

Docker

Photon can be launched using a lightweight Python-Alpine (103 MB) Docker image.

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

To view results, you can either head over to the local docker volume, which you can find by running docker inspect photon or by mounting the target loot folder:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

Frequent & Seamless Updates

Photon is under heavy development and updates for fixing bugs. optimizing performance & new features are being rolled regularly.

If you would like to see features and issues that are being worked on, you can do that on Development project board.

Updates can be installed & checked for with the --update option. Photon has seamless update capabilities which means you can update Photon without losing any of your saved data. Use Control + Shift + m to toggle the tab key moving focus. Alternatively, use esc then tab to move to the next interactive element on the page. Attach files by dragging & dropping, selecting or pasting them. (https://www.thordata.com/?ls=github&lk=Photon)

demo

Photon Wiki • How To Use • Compatibility • Photon Library • Contribution • Roadmap

Key Features

Data Extraction

Photon can extract the following data while crawling:

The extracted information is saved in an organized manner or can be exported as json.

save demo

Flexible

Control timeout, delay, add seeds, exclude URLs matching a regex pattern and other cool stuff. The extensive range of options provided by Photon lets you crawl the web exactly the way you want.

Genius

Photon's smart thread management & refined logic gives you top notch performance.

Still, crawling can be resource intensive but Photon has some tricks up it's sleeves. You can fetch URLs archived by archive.org to be used as seeds by using --wayback option.

Plugins

Docker

Photon can be launched using a lightweight Python-Alpine (103 MB) Docker image.

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

To view results, you can either head over to the local docker volume, which you can find by running docker inspect photon or by mounting the target loot folder:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

Frequent & Seamless Updates

Photon is under heavy development and updates for fixing bugs. optimizing performance & new features are being rolled regularly.

If you would like to see features and issues that are being worked on, you can do that on Development project board.

Updates can be installed & checked for with the --update option. Photon has seamless update capabilities which means you can update Photon without losing any of your saved data.

Contribution & License

You can contribute in following ways:

Please read the guidelines before submitting a pull request or issue.

Do you want to have a conversation in private? Hit me up on my twitter, inbox is open :)

Photon is licensed under GPL v3.0 license

Photon (s0md3v/Photon)

Searching Database…

13.3K ·GitHub
Photon
Что это такое?Photon — это быстрый веб-краулер для OSINT (разведки по открытым источникам). Во время обхода сайта он извлекает URL-адреса, адреса электронной почты, аккаунты в соцсетях, секретные ключи, поддомены и многое другое.
Это библиотека или инструмент командной строки?Это Python-краулер для командной строки, который вы запускаете для целевого URL, а не библиотека, которую импортируют в код.
Как мне его запустить?Запустите его как Python-скрипт, указав цель, или через официальный легковесный Docker-образ Python-Alpine, а результаты смотрите в смонтированной папке loot.
Нужно ли мне что-то, кроме Python, чтобы им пользоваться?Нужен только Python для запуска скрипта или Docker, если вы предпочитаете версию в контейнере; для базового обхода ключи API не требуются.
Сильно ли обход сайта нагружает ресурсы?Да, Photon использует умное управление потоками, чтобы работать быстро, но в README прямо сказано, что на больших целях обход всё равно может требовать много ресурсов.
Какие данные Photon может извлечь во время обхода?Он извлекает URL в пределах целевой области и за её пределами, URL с параметрами, разведданные вроде адресов электронной почты и аккаунтов в соцсетях, файлы (pdf, png, xml и т. д.), секретные ключи и API-ключи, JavaScript-файлы и их эндпоинты, совпадения по пользовательским регулярным выражениям, а также данные о поддоменах и DNS. Результаты сохраняются упорядоченно и могут быть экспортированы в JSON.
Для чего нужны плагины Photon?Встроенные плагины включают wayback (получает архивные URL с archive.org в качестве исходных адресов), dnsdumpster и Exporter для сохранения результатов.
Как мне обновлять Photon?Запустите его с опцией --update: она проверяет наличие обновлений и устанавливает их, не удаляя сохранённые данные обходов.
Зачем мне использовать опцию --wayback?Она загружает URL, архивированные на archive.org, и использует их как дополнительные исходные адреса. Так Photon может находить страницы, которые уже не связаны ссылками на живом сайте.
What are similar projects?social-analyzer, bbot, maigret, theHarvester, phoneinfoga, Osintgram, sherlock, Sublist3r
Which topics is it in?osint-tools, spider, web-scraper, information-gathering, reconnaissance, crawler, osint, pentesting, hacking, web-scraping, json, security-tools
Creator
s0md3v
Size
0.3 MB
Stars
13.3K
Updated
CommitOct 17Releasev1.3.0Apr 05
Age
8y
Commits · 90 Days