ProgramBench README

README проекта с github.com/facebookresearch/ProgramBench. Одним файлом markdown: README.md.

ProgramBench logo
ProgramBench

Can Language Models Rebuild Programs From Scratch?

Given only a compiled binary and its documentation, AI agents must architect and implement a complete codebase that reproduces the original program's behavior.

Quickstart

We recommend uv for managing Python environments.

# Run without installing
uvx programbench --help

# Or install into a project
uv pip install programbench

# Or with pip
pip install programbench

For development:

git clone https://github.com/facebookresearch/programbench.git
cd programbench
uv sync  # installs editable + dev dependencies

[!NOTE] For more details, please refer to the Usage Guide.

To run our baseline:

uvx --from mini-swe-agent mini-extra programbench --help
# or
pip install mini-swe-agent && mini-extra programbench --help

See the mini-swe-agent baseline docs for details.

Citation

If our work was useful for you, please cite it:

@misc{yang2026programbenchlanguagemodelsrebuild,
    title={ProgramBench: Can Language Models Rebuild Programs From Scratch?},
    author={John Yang and Kilian Lieret and Jeffrey Ma and Parth Thakkar and Dmitrii Pedchenko and Sten Sootla and Emily McMilin and Pengcheng Yin and Rui Hou and Gabriel Synnaeve and Diyi Yang and Ofir Press},
    year={2026},
    eprint={2605.03546},
    archivePrefix={arXiv},
    primaryClass={cs.SE},
    url={https://arxiv.org/abs/2605.03546},
}

License

ProgramBench is licensed under the terms of the license found in LICENSE.

ProgramBench (facebookresearch/ProgramBench)

Ищем в базе…

Что это такое?ProgramBench — это бенчмарк, который проверяет, могут ли ИИ-агенты с нуля воссоздать весь исходный код программы, имея только её скомпилированный исполняемый файл и документацию.
Это бенчмарк, который я запускаю, или модель, которую я скачиваю?Это бенчмарк для оценки и набор данных, а не модель. Вы направляете ИИ-агента на предоставленные исполняемые файлы и документацию, позволяете ему воссоздать программу и сравниваете результаты в таблице лидеров.
Как его запустить?Клонируйте репозиторий и используйте uv для настройки окружения Python для разработки, затем следуйте Руководству по использованию, чтобы запустить задачи бенчмарка или входящий в комплект базовый вариант.
Нужно ли мне создавать собственного ИИ-агента или он уже включён?Базовый агент уже включён — это mini-swe-agent, у него есть собственная документация с описанием того, как запустить его на ProgramBench; вместо него вы можете подставить своего агента.
Что делает эту задачу сложной — агенты получают исходный код?Нет. Агенты видят только скомпилированный исполняемый файл и его документацию и должны восстановить весь код исключительно по ним, что гораздо сложнее типичных бенчмарков по генерации кода, которые начинают с исходного кода или спецификаций.
Для кого предназначен этот бенчмарк?Он рассчитан на исследователей и разработчиков ИИ-агентов, которые хотят измерить, насколько хорошо языковые модели умеют проводить обратную разработку и заново реализовывать реальное программное обеспечение, а не на конечных пользователей, которые ищут готовый инструмент.
Можно ли отправить свои результаты в публичную таблицу лидеров?Да, у ProgramBench есть публичная таблица лидеров для отправки результатов, где можно сравнить производительность вашего агента с результатами других.
Выпущены ли статья и набор данных вместе с этим бенчмарком?Да, на странице проекта есть ссылки на статью, набор данных на HuggingFace и отдельный сайт с подробностями о бенчмарке.
Кто выпустил ProgramBench?Его выпустила Facebook Research (Meta) по лицензии MIT.
Какие есть похожие проекты?GVS5H, StateTrack, DeLM, ParseBench, arc-task-gen, Sentry, XRepoTest, ClawBench
Размер
4.1 MB
Звёзды
982
Возраст
6 мес
Коммиты · 90 дней