模型提供决策,系统决定它如何行动
模型会根据当前上下文选择下一步。harness 则决定模型能看到哪些上下文、调用什么工具、如何接收错误,以及何时结束任务。
对于终端工作流,命令执行、文件读取、权限、测试反馈和长对话的上下文整理,都可能影响最终完成情况。
控制变量,才能回答具体问题
如果你想知道两个基础模型的差异,应尽量固定运行环境、提示、工具和预算。SWE-bench 的 Bash Only 视图用相同的 mini-SWE-agent 提供一种对照方式。
如果你要选择每天使用的 coding agent,则完整系统表现更有实际意义。记录模型、agent 版本与配置,并在相同任务下测试。
不要把产品名当作固定实验条件
Codex、Claude Code、DeepSeek harnesses 与 pi 都可能随版本和配置变化。只写工具名称,无法完整说明实验。
至少保存模型标识、agent 版本、工具权限、预算与结果产物。能复查过程的评测,比只有一个分数更有助于诊断问题。
基础模型比较和 agent 产品比较是两种实验。先写清楚你要做哪一种,再决定如何控制变量。