τ²-bench

Sierra Research

在用户与 agent 共同改变环境的任务中,检验工具调用与协作可靠性。

工具调用用户协作可靠性
持续演进最近核验 2026-10-24来源可追溯 · 编辑解读

它在衡量什么?

评估 agent 与用户对话、调用工具并遵守业务规则的能力。τ² 引入双控环境:用户也可以执行动作,agent 必须协调双方。

如何得到这个分数?

与模拟用户进行多轮交互,调用领域工具,以可验证的最终状态检查任务。可靠性指标关注重复尝试能否一致成功。

把任务想具体一点

示意任务:agent 根据业务规则排查服务问题,并引导用户完成只有用户才能执行的操作。此示例为编辑概括。

为什么值得关注

  • 关注真实工具副作用和多轮协作。
  • 重复成功的可靠性视角补充一次成功率。

分数之外的边界

  • 模拟用户与真实用户存在差别。
  • 不同领域、用户模型与任务修订会改变结果。
  • 不是直接的编程能力评测;τ² 与 τ³ 需分开阅读。

适合用来判断

理解带工具、用户交互与规则约束的 agent。

不适合直接推断

仅依据业务工具任务选择最强代码生成模型。

回到原始来源

以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。