它在衡量什么？
来自 42 个仓库的 300 个任务，覆盖 C、C++、Go、Java、JavaScript、TypeScript、PHP、Ruby 和 Rust。
如何得到这个分数？
沿用 SWE-bench 的任务形式：issue、修复前代码与可执行测试。更广的语言分布有助于观察 Python 之外的工程能力。
把任务想具体一点
示意任务：在 TypeScript 仓库中修复一个类型或运行时行为缺陷，同时保持既有测试通过。此示例为编辑概括。
为什么值得关注
- 补充 Python 评测无法覆盖的语言生态。
- 与 SWE-bench 评测工具兼容。
分数之外的边界
- 不同语言的样本分布需要查看数据集，不能假设平均。
- 总分会掩盖某一语言或仓库上的短板。
适合用来判断
为多语言项目选择 agent 时增加一个观察维度。
不适合直接推断
认为 300 个任务完整覆盖所有语言的生产场景。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。