它在衡量什么?
评估 agent 与用户对话、调用工具并遵守业务规则的能力。τ² 引入双控环境:用户也可以执行动作,agent 必须协调双方。
如何得到这个分数?
与模拟用户进行多轮交互,调用领域工具,以可验证的最终状态检查任务。可靠性指标关注重复尝试能否一致成功。
把任务想具体一点
示意任务:agent 根据业务规则排查服务问题,并引导用户完成只有用户才能执行的操作。此示例为编辑概括。
为什么值得关注
- 关注真实工具副作用和多轮协作。
- 重复成功的可靠性视角补充一次成功率。
分数之外的边界
- 模拟用户与真实用户存在差别。
- 不同领域、用户模型与任务修订会改变结果。
- 不是直接的编程能力评测;τ² 与 τ³ 需分开阅读。
适合用来判断
理解带工具、用户交互与规则约束的 agent。
不适合直接推断
仅依据业务工具任务选择最强代码生成模型。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。