ProgramBench README

项目的 README,来自 github.com/facebookresearch/ProgramBench。合并为一个 markdown 文件:README.md。

ProgramBench logo
ProgramBench

Can Language Models Rebuild Programs From Scratch?

Given only a compiled binary and its documentation, AI agents must architect and implement a complete codebase that reproduces the original program's behavior.

Quickstart

We recommend uv for managing Python environments.

# Run without installing
uvx programbench --help

# Or install into a project
uv pip install programbench

# Or with pip
pip install programbench

For development:

git clone https://github.com/facebookresearch/programbench.git
cd programbench
uv sync  # installs editable + dev dependencies

[!NOTE] For more details, please refer to the Usage Guide.

To run our baseline:

uvx --from mini-swe-agent mini-extra programbench --help
# or
pip install mini-swe-agent && mini-extra programbench --help

See the mini-swe-agent baseline docs for details.

Citation

If our work was useful for you, please cite it:

@misc{yang2026programbenchlanguagemodelsrebuild,
    title={ProgramBench: Can Language Models Rebuild Programs From Scratch?},
    author={John Yang and Kilian Lieret and Jeffrey Ma and Parth Thakkar and Dmitrii Pedchenko and Sten Sootla and Emily McMilin and Pengcheng Yin and Rui Hou and Gabriel Synnaeve and Diyi Yang and Ofir Press},
    year={2026},
    eprint={2605.03546},
    archivePrefix={arXiv},
    primaryClass={cs.SE},
    url={https://arxiv.org/abs/2605.03546},
}

License

ProgramBench is licensed under the terms of the license found in LICENSE.

ProgramBench (facebookresearch/ProgramBench)

正在搜索数据库…

这是什么?ProgramBench 是一个基准测试,用来检验 AI 智能体能否仅凭程序的编译后二进制文件和文档,从零重建出整个代码库。
这是我要运行的基准测试,还是需要下载的模型?它是一个评测基准和数据集,不是模型。你让 AI 智能体去分析提供的二进制文件和文档,让它重建程序,然后在排行榜上比较结果。
怎么让它跑起来?克隆仓库,用 uv 为开发设置 Python 环境,然后按照使用指南运行基准测试任务或所附的基线。
我需要自己开发 AI 智能体吗,还是已经包含了?已包含一个基线智能体——mini-swe-agent,其自带文档说明了如何用它运行 ProgramBench;你也可以换成自己的智能体。
难点在哪——智能体能拿到源代码吗?不能。智能体只能看到编译后的二进制文件及其文档,必须完全凭这些重建整个代码库,这比那些从源代码或规格说明出发的常见代码生成基准难得多。
这个基准面向哪些人?它面向希望衡量语言模型逆向分析并重新实现真实软件能力的研究人员和 AI 智能体开发者,而不是寻找现成工具的终端用户。
我能把结果提交到公开排行榜吗?可以,ProgramBench 设有公开排行榜供提交,你可以把自己智能体的表现与其他人进行比较。
这个基准是否同时发布了论文和数据集?是的,项目链接了论文、HuggingFace 数据集,以及一个介绍基准细节的专门网站。
ProgramBench 是谁发布的?它由 Facebook Research(Meta)以 MIT 许可证发布。
大小
4.1 MB
星标
982
时长
6个月
提交 · 90 天