让每一个分数,都有上下文。
排行榜给你一个答案。这里帮助你理解,它回答的究竟是什么问题。
015 分钟024 分钟034 分钟043 分钟
分数之外,你还应该看什么?
版本、harness、预算、污染风险。建立一个比排行榜更可靠的判断框架。
你评估的是模型,还是整个 Agent?
从 model、tools 到环境与反馈循环,理解 harness 为什么会改变结果。
pass@k 和 pass^k,差别在哪里?
读懂成功率、尝试次数与可靠性,避免把“偶尔能做对”当成稳定可用。
为你的 coding agent 选一组评测
从真实工作流出发,用互补证据建立自己的评测清单。
这些文章是基于公开方法文档的编辑解读,不替代原始论文。每篇文章附有来源,帮助你继续深入。