OSWorld

XLang Lab & collaborators

让 agent 操作真实桌面应用,观察跨应用任务能否执行到位。

Computer use跨应用长程任务
持续演进最近核验 2026-10-24来源可追溯 · 编辑解读

它在衡量什么?

面向计算机操作 agent 的真实环境评测。新版强调长程现实任务;访问旧榜单时,应检查是否仍在引用早期的 369 任务集合。

如何得到这个分数?

agent 观察界面并操作应用,执行评测器检查任务最终状态。截图、动作空间、步数预算、应用版本均属于结果条件。

把任务想具体一点

示意任务:在桌面中编辑文件并跨应用整理信息,最后检查保存产物是否符合要求。此示例为编辑概括。

为什么值得关注

  • 覆盖 GUI 交互与跨应用流程。
  • 以实际执行结果而非描述性答案评估完成情况。

分数之外的边界

  • 桌面环境与应用版本会影响可复现性。
  • 旧版、Verified 与 2.0 的结果不能混用。

适合用来判断

观察 coding agent 延伸到浏览器与桌面操作时的能力。

不适合直接推断

将界面操作分数当作纯代码能力。

回到原始来源

以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。