它在衡量什么?
给定编译后的程序与文档,agent 构建一个行为一致的实现。它把关注点从补丁修复扩展到程序级实现。
如何得到这个分数?
使用隐藏行为测试检查重建程序。官方区分完全解决和通过至少 95% 行为测试的 Almost,并提供成本视角。
把任务想具体一点
示意任务:通过文档与可执行程序观察输入输出,设计并实现具有相同行为的替代程序。此示例为编辑概括。
为什么值得关注
- 关注完整软件制品与系统性实现能力。
- 同时区分完全通过、接近通过和运行成本。
分数之外的边界
- 行为测试无法覆盖所有可能输入。
- 程序重建与真实产品需求发现、设计协作仍有差别。
适合用来判断
观察从零实现与长时间任务推进能力。
不适合直接推断
把行为一致性视为安全性或生产质量的证明。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。