ProgramBench

Meta · Stanford · Harvard

只给二进制与文档,让 agent 从零重建完整程序的行为。

从零构建行为验证长程任务
官方评测
持续演进最近核验 2026-10-24来源可追溯 · 编辑解读

它在衡量什么?

给定编译后的程序与文档,agent 构建一个行为一致的实现。它把关注点从补丁修复扩展到程序级实现。

如何得到这个分数?

使用隐藏行为测试检查重建程序。官方区分完全解决和通过至少 95% 行为测试的 Almost,并提供成本视角。

把任务想具体一点

示意任务:通过文档与可执行程序观察输入输出,设计并实现具有相同行为的替代程序。此示例为编辑概括。

为什么值得关注

  • 关注完整软件制品与系统性实现能力。
  • 同时区分完全通过、接近通过和运行成本。

分数之外的边界

  • 行为测试无法覆盖所有可能输入。
  • 程序重建与真实产品需求发现、设计协作仍有差别。

适合用来判断

观察从零实现与长时间任务推进能力。

不适合直接推断

把行为一致性视为安全性或生产质量的证明。

回到原始来源

以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。