维护已有项目
先看真实仓库修复任务。Python 工作流可以从 SWE-bench Verified 开始;多语言工作流补充 SWE-bench Multilingual。
如果你的任务经常跨模块、持续时间较长,可以进一步查看 SWE-Bench Pro 的对应子集,并留意运行预算。
终端自动化与从零实现
终端排障、构建与多步骤工具操作,可以关注 Terminal-Bench。若你更在意完整程序实现,可阅读 ProgramBench 的任务定义与行为测试边界。
两类任务具有互补性。不要把仓库补丁修复的成功率直接当作从零交付能力。
补充能力,然后回到自己的任务
LiveCodeBench 和 BigCodeBench 能提供算法编程与库调用方面的证据;τ²-bench 与 OSWorld 则帮助理解工具协作和计算机操作。
最后保留一小组自己的真实任务,记录期望结果、可接受成本、失败情况与人工介入次数。公开评测帮助缩小选择范围,个人任务帮助完成选择。
先选择一个最贴近工作流的主评测,再增加一到两个互补评测;保持版本与运行条件清楚。