它在衡量什么?
面向计算机操作 agent 的真实环境评测。新版强调长程现实任务;访问旧榜单时,应检查是否仍在引用早期的 369 任务集合。
如何得到这个分数?
agent 观察界面并操作应用,执行评测器检查任务最终状态。截图、动作空间、步数预算、应用版本均属于结果条件。
把任务想具体一点
示意任务:在桌面中编辑文件并跨应用整理信息,最后检查保存产物是否符合要求。此示例为编辑概括。
为什么值得关注
- 覆盖 GUI 交互与跨应用流程。
- 以实际执行结果而非描述性答案评估完成情况。
分数之外的边界
- 桌面环境与应用版本会影响可复现性。
- 旧版、Verified 与 2.0 的结果不能混用。
适合用来判断
观察 coding agent 延伸到浏览器与桌面操作时的能力。
不适合直接推断
将界面操作分数当作纯代码能力。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。