它在衡量什么？
原始研究覆盖 41 个仓库、1,865 个问题，并区分公开、保留和商业子集。设计目标是观察更复杂的工程维护任务。
如何得到这个分数？
agent 在仓库中完成可能涉及多个文件的修复，使用测试检查结果。理解总分之前，先确认报告的是哪个子集和哪一种 scaffold。
把任务想具体一点
示意任务：追踪业务应用中跨模块的问题，修改多个文件并验证兼容性。此示例为编辑概括。
为什么值得关注
- 强调较长时间跨度和更复杂的代码修改。
- 数据分层有助于讨论公开题集与评测污染的关系。
分数之外的边界
- 1,865 是研究全体规模，并非公开集规模。
- 非公开子集的独立复现受访问条件限制。
- 不能与 SWE-bench Verified 的百分比直接横比。
适合用来判断
补充观察复杂软件维护和长程推理表现。
不适合直接推断
把不同子集与不同基准的分数合成统一总分。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。