- Автор
- facebookresearch
- Размер
- 4.1 MB
- Звёзды
- 982
- Обновлён
- КоммитOct 12Релизv1.2.5Sep 29
- Возраст
- 6 мес
- Коммиты · 90 дней
ProgramBench (facebookresearch/ProgramBench)
Ищем в базе…
982 ·GitHub
Что это такое?
ProgramBench — это бенчмарк, который проверяет, могут ли ИИ-агенты с нуля воссоздать весь исходный код программы, имея только её скомпилированный исполняемый файл и документацию.
Это бенчмарк, который я запускаю, или модель, которую я скачиваю?
Это бенчмарк для оценки и набор данных, а не модель. Вы направляете ИИ-агента на предоставленные исполняемые файлы и документацию, позволяете ему воссоздать программу и сравниваете результаты в таблице лидеров.
Как его запустить?
Клонируйте репозиторий и используйте uv для настройки окружения Python для разработки, затем следуйте Руководству по использованию, чтобы запустить задачи бенчмарка или входящий в комплект базовый вариант.
Нужно ли мне создавать собственного ИИ-агента или он уже включён?
Базовый агент уже включён — это mini-swe-agent, у него есть собственная документация с описанием того, как запустить его на ProgramBench; вместо него вы можете подставить своего агента.
Что делает эту задачу сложной — агенты получают исходный код?
Нет. Агенты видят только скомпилированный исполняемый файл и его документацию и должны восстановить весь код исключительно по ним, что гораздо сложнее типичных бенчмарков по генерации кода, которые начинают с исходного кода или спецификаций.
Для кого предназначен этот бенчмарк?
Он рассчитан на исследователей и разработчиков ИИ-агентов, которые хотят измерить, насколько хорошо языковые модели умеют проводить обратную разработку и заново реализовывать реальное программное обеспечение, а не на конечных пользователей, которые ищут готовый инструмент.
Можно ли отправить свои результаты в публичную таблицу лидеров?
Да, у ProgramBench есть публичная таблица лидеров для отправки результатов, где можно сравнить производительность вашего агента с результатами других.
Выпущены ли статья и набор данных вместе с этим бенчмарком?
Да, на странице проекта есть ссылки на статью, набор данных на HuggingFace и отдельный сайт с подробностями о бенчмарке.
Кто выпустил ProgramBench?
Его выпустила Facebook Research (Meta) по лицензии MIT.
Какие есть похожие проекты?
GVS5H, StateTrack, DeLM, ParseBench, arc-task-gen, Sentry, XRepoTest, ClawBench
В каких он темах?
llm-evaluation, paper, code-generation, dataset, evaluation, academic-research, large-language-models, reverse-engineering, agentic-ai, huggingface, agents, benchmark
