为你的 coding agent 选一组评测

你不需要追踪每一个新榜单。一组贴近任务、彼此互补、条件清楚的评测,往往比一个不断增长的分数表更有用。

维护已有项目

先看真实仓库修复任务。Python 工作流可以从 SWE-bench Verified 开始;多语言工作流补充 SWE-bench Multilingual。

如果你的任务经常跨模块、持续时间较长,可以进一步查看 SWE-Bench Pro 的对应子集,并留意运行预算。

终端自动化与从零实现

终端排障、构建与多步骤工具操作,可以关注 Terminal-Bench。若你更在意完整程序实现,可阅读 ProgramBench 的任务定义与行为测试边界。

两类任务具有互补性。不要把仓库补丁修复的成功率直接当作从零交付能力。

补充能力,然后回到自己的任务

LiveCodeBench 和 BigCodeBench 能提供算法编程与库调用方面的证据;τ²-bench 与 OSWorld 则帮助理解工具协作和计算机操作。

最后保留一小组自己的真实任务,记录期望结果、可接受成本、失败情况与人工介入次数。公开评测帮助缩小选择范围,个人任务帮助完成选择。

先选择一个最贴近工作流的主评测,再增加一到两个互补评测;保持版本与运行条件清楚。

继续阅读原始资料

带着这些问题,去发现评测