它在衡量什么？
面向真实软件维护的常用参考。给定 issue 和修复前的仓库，agent 需要定位问题、修改代码，并通过测试。Verified 是经人工筛选的 500 个任务子集。
如何得到这个分数？
在隔离环境中应用 agent 生成的补丁，再运行问题相关测试与回归测试。% Resolved 表示满足判定条件的任务比例。比较时须确认使用同一数据集与 agent 设置。
把任务想具体一点
示意任务：某 Python 库在边界输入下抛出异常。agent 阅读 issue、定位相关函数、补充处理逻辑，并运行回归测试。此示例为编辑概括，并非原题。
为什么值得关注
- 真实仓库与已有测试，使结果比孤立函数题更贴近维护工作。
- 统一运行环境的榜单视图有助于控制 agent 差异。
分数之外的边界
- Verified 主要围绕 Python 项目，不能直接代表其他语言。
- 测试通过不等于代码质量、可维护性或产品交付质量。
- 公开题集存在被训练数据或专门优化影响的可能。
适合用来判断
选择处理仓库 issue 与修复任务的 coding agent。
不适合直接推断
判断从零构建产品、视觉设计或所有语言的综合能力。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。