WebsiteBench README

README проекта с github.com/TIGER-AI-Lab/WebsiteBench. Одним файлом markdown: README.md.

WebsiteBench

Can AI agents rebuild websites through browser exploration?

Project Page Leaderboard Tasks Harbor Hub Paper

Quickstart · Tasks · Run in the cloud · Docs · PyPI · Citation

Given a production-level website they can explore through a browser, agents must reverse-engineer a full-stack version that matches its appearance and behavior as closely as possible.

Tasks

70 websites and 46,916 hidden test cases, on Harbor Hub and Hugging Face. See the task list.

Download them with the PyPI package:

pip install websitebench
websitebench download --task medium

Running the benchmark

Install Docker and Harbor:

uv tool install harbor==0.25.0

Run an agent on all 70 tasks:

export OPENAI_API_KEY='<key>'
harbor run --dataset websitebench/WebsiteBench@v1 \
  --agent codex --model '<model>' --n-concurrent 1 \
  --allow-environment-host snapshot.debian.org \
  --allow-environment-host raw.githubusercontent.com \
  --allow-environment-host github.com \
  --allow-environment-host nodejs.org \
  --allow-environment-host registry.npmjs.org

To run one task, replace --dataset websitebench/WebsiteBench@v1 with --task websitebench/medium@v1.

Check a task with its reference solution:

harbor run --task websitebench/medium@v1 --agent oracle

Each trial's reward is in jobs/<job>/<trial>/verifier/reward.txt. The docs cover other agents, downloads and cloud machines.

Scoring

Each task has 302 to 2,016 hidden test cases. A case passes when its functional checks pass and every visual checkpoint reaches a normalized SSIM of 0.99. A task's reward is the share of its cases that pass.

Citation

@misc{zhang2026websitebench,
  title  = {WebsiteBench: Can AI Agents Rebuild Websites through Browser Exploration?},
  author = {{WebsiteBench Authors}},
  year   = {2026},
  url    = {https://github.com/TIGER-AI-Lab/WebsiteBench},
}

License

The benchmark code, task definitions, and verifier are released under Apache-2.0. The reference websites reproduce third-party sites for evaluation; their content belongs to its owners and is provided for non-commercial research only.

The task definitions carry a harbor-canary GUID. Please exclude documents that contain it from training data.

Star History

Star History Chart

WebsiteBench (TIGER-AI-Lab/WebsiteBench)

Ищем в базе…

Что это такое?Бенчмарк, в котором ИИ-агенты исследуют реально работающий сайт в браузере и должны обратным инжинирингом создать его полную копию, включая фронтенд и бэкенд, которая совпадает с оригиналом по внешнему виду и поведению.
Это инструмент, который нужно установить, или датасет, который нужно скачать?И то, и другое: 70 задач и их скрытые тесты берутся из Harbor Hub или Hugging Face, а агентов на них вы запускаете через Harbor с Docker.
Как запустить на нём агента?Установите Docker и Harbor, затем запустите своего агента на всех 70 задачах. Чтобы попробовать одну задачу, замените флаг датасета на --task websitebench/medium@v1.
Что нужно подготовить перед началом?Docker и Harbor. Задачи можно скачать через пакет PyPI или получить из Harbor Hub и Hugging Face.
Можно ли запустить это на облачной машине вместо моего компьютера?Да, в документации описаны облачные машины, но в README не сказано, как их настроить и сколько это стоит.
Могу ли я использовать эталонные сайты в коммерческих целях?Нет. Код, задачи и верификатор распространяются по лицензии Apache-2.0, но сами эталонные сайты принадлежат их владельцам и предназначены только для некоммерческих исследований.
Что на самом деле входит в бенчмарк?70 сайтов, у каждого от 302 до 2 016 скрытых тест-кейсов, всего 46 916 кейсов. Каждый сайт проверяется по множеству функциональных и визуальных критериев.
Могу ли я сначала протестировать один сайт, прежде чем запускать полный прогон?Да. Замените флаг датасета на --task websitebench/medium@v1, чтобы запустить одну задачу, и заранее проверьте любую задачу по её эталонному решению.
Оценивается ли только поведение или также внешний вид?И то, и другое. Каждый кейс сочетает функциональные проверки с визуальными контрольными точками, которые сравниваются по SSIM, поэтому агенту нужно точно повторить и то, как работает сайт, и то, как он выглядит.
Какие есть похожие проекты?ClawBench, ASI-Bench, StartLux-Decision, CommerceAgentBench, fara, Recuris, harness2, SystemOneHarness
Автор
TIGER-AI-Lab
Размер
4.6 MB
Звёзды
511
Обновлён
КоммитNov 10
Возраст
14 д
Коммиты · 90 дней