SWE-bench VerifiedSWE-bench Team
从真实 GitHub issue 出发,检验 agent 能否理解代码库并提交正确的修复。
软件工程真实仓库问题修复
持续演进
更好的判断,始于更好的理解。
FOR PEOPLE BUILDING WITH AGENTSTerminal-Bench 4.0:把模型、工具与执行放在一起看。
理解这项评测版本、harness、预算、污染风险。
读懂排行榜之前,先问这几个问题。
从你的任务出发,找到真正有参考价值的评测。
从真实 GitHub issue 出发,检验 agent 能否理解代码库并提交正确的修复。
把真实仓库修复扩展到 9 种语言,补上仅看 Python 评测的盲区。
关注更复杂、跨文件的工程任务,把长程软件维护放进评测。
只给二进制与文档,让 agent 从零重建完整程序的行为。
发现一个值得关注的 Benchmark?帮助更多人找到它。