Что это такое?
Anubis — это веб-утилита, защищающая от ИИ-краулеров: она проверяет входящие подключения с помощью испытаний, чтобы защитить ваш сайт от ИИ-ботов, скрапящих контент. Инструмент создан, чтобы защитить небольшой интернет от бесконечных волн запросов от ИИ-компаний.
Anubis — это веб-утилита, защищающая от ИИ-краулеров: она проверяет входящие подключения с помощью испытаний, чтобы защитить ваш сайт от ИИ-ботов, скрапящих контент. Инструмент создан, чтобы защитить небольшой интернет от бесконечных волн запросов от ИИ-компаний.Это хостинговый сервис или что-то, что я запускаю сам перед своим сайтом?Вы запускаете его на собственной инфраструктуре: Anubis работает перед вашим сайтом как шлюз, который фильтрует запросы до того, как они дойдут до вашего приложения. Он работает как промежуточное ПО (middleware) или обратный прокси.
Вы запускаете его на собственной инфраструктуре: Anubis работает перед вашим сайтом как шлюз, который фильтрует запросы до того, как они дойдут до вашего приложения. Он работает как промежуточное ПО (middleware) или обратный прокси.Как его запустить?README ссылается на сайт документации anubis.techaro.lol, где описаны пробный запуск и развёртывание. Там же есть раздел Packaging Status — программа доступна через несколько пакетных менеджеров.
README ссылается на сайт документации anubis.techaro.lol, где описаны пробный запуск и развёртывание. Там же есть раздел Packaging Status — программа доступна через несколько пакетных менеджеров.Что нужно для работы?На сервере это лёгкая программа на Go. Испытание выполняется в браузере посетителя на JavaScript — клиентский код использует Preact, хеширование SHA-256 и определение поддержки WebAssembly.
На сервере это лёгкая программа на Go. Испытание выполняется в браузере посетителя на JavaScript — клиентский код использует Preact, хеширование SHA-256 и определение поддержки WebAssembly.Не заблокирует ли он и хороших ботов, например Internet Archive?Может — автор называет это 'чем-то вроде ядерного ответа': мелкие скраперы блокируются, а полезные боты вроде Internet Archive могут столкнуться с ограничениями. Правила для ботов позволяют явно вносить краулеры в белый список, и сейчас готовится проверенный набор таких 'хороших' ботов.
Может — автор называет это 'чем-то вроде ядерного ответа': мелкие скраперы блокируются, а полезные боты вроде Internet Archive могут столкнуться с ограничениями. Правила для ботов позволяют явно вносить краулеры в белый список, и сейчас готовится проверенный набор таких 'хороших' ботов.Если Cloudflare уже защищает большинство сайтов, то для кого это вообще?Большинству сайтов хватает Cloudflare; Anubis — для случаев, когда вы не можете или не хотите им пользоваться. Инструмент специально сделан лёгким, чтобы защита была по карману даже небольшим сайтам и сообществам.
Большинству сайтов хватает Cloudflare; Anubis — для случаев, когда вы не можете или не хотите им пользоваться. Инструмент специально сделан лёгким, чтобы защита была по карману даже небольшим сайтам и сообществам.Что происходит, когда ИИ-краулер заходит на мой сайт?Подключение проходит одно или несколько испытаний, прежде чем добраться до вашего сервера. По сути браузер посетителя выполняет небольшой proof-of-work — вычисляет хеши SHA-256, по возможности с ускорением через WebAssembly. Настоящий браузер справляется за мгновение, а боты-скраперы обычно этим заморачиваться не хотят.
Подключение проходит одно или несколько испытаний, прежде чем добраться до вашего сервера. По сути браузер посетителя выполняет небольшой proof-of-work — вычисляет хеши SHA-256, по возможности с ускорением через WebAssembly. Настоящий браузер справляется за мгновение, а боты-скраперы обычно этим заморачиваться не хотят.Anubis бесплатный, и на что он живёт?Полностью бесплатный проект с открытым кодом под лицензией MIT. Разработку поддерживают спонсоры и жертвователи, а автор ведёт Discord для патронов с живой поддержкой.
Полностью бесплатный проект с открытым кодом под лицензией MIT. Разработку поддерживают спонсоры и жертвователи, а автор ведёт Discord для патронов с живой поддержкой.What are similar projects?SafeLine, crowdsec, cloudflare-turnstile-bypass, nps, undetected-chromedriver, anti-mage, rathole, fail2ban
SafeLine, crowdsec, cloudflare-turnstile-bypass, nps, undetected-chromedriver, anti-mage, rathole, fail2banWhich topics is it in?waf, anti-bot, bot-detection, firewall, middleware, reverse-proxy, cloudflare, sysadmin, http, cybersecurity, security-tools, proxy
waf, anti-bot, bot-detection, firewall, middleware, reverse-proxy, cloudflare, sysadmin, http, cybersecurity, security-tools, proxy