982 ·GitHub
这是什么?
ProgramBench 是一个基准测试,用来检验 AI 智能体能否仅凭程序的编译后二进制文件和文档,从零重建出整个代码库。
这是我要运行的基准测试,还是需要下载的模型?
它是一个评测基准和数据集,不是模型。你让 AI 智能体去分析提供的二进制文件和文档,让它重建程序,然后在排行榜上比较结果。
怎么让它跑起来?
克隆仓库,用 uv 为开发设置 Python 环境,然后按照使用指南运行基准测试任务或所附的基线。
我需要自己开发 AI 智能体吗,还是已经包含了?
已包含一个基线智能体——mini-swe-agent,其自带文档说明了如何用它运行 ProgramBench;你也可以换成自己的智能体。
难点在哪——智能体能拿到源代码吗?
不能。智能体只能看到编译后的二进制文件及其文档,必须完全凭这些重建整个代码库,这比那些从源代码或规格说明出发的常见代码生成基准难得多。
这个基准面向哪些人?
它面向希望衡量语言模型逆向分析并重新实现真实软件能力的研究人员和 AI 智能体开发者,而不是寻找现成工具的终端用户。
我能把结果提交到公开排行榜吗?
可以,ProgramBench 设有公开排行榜供提交,你可以把自己智能体的表现与其他人进行比较。
这个基准是否同时发布了论文和数据集?
是的,项目链接了论文、HuggingFace 数据集,以及一个介绍基准细节的专门网站。
ProgramBench 是谁发布的?
它由 Facebook Research(Meta)以 MIT 许可证发布。
有哪些类似的项目?
GVS5H, StateTrack, DeLM, ParseBench, arc-task-gen, Sentry, XRepoTest, ClawBench
