pass@k：给 k 次机会，至少成功一次
在常见代码生成评测中，pass@k 描述 k 个候选里至少有一个通过测试的概率。实际报告常通过多次采样的统计估计得到，不能简单理解成任意挑选 k 个答案。
更大的 k 意味着更多候选与计算开销。把 pass@1 与 pass@5 直接横比，会把尝试次数的优势混入模型能力判断。
pass^k：重复运行是否都能成功
τ-bench 的可靠性视角关注在多次运行中一致成功。它与“多次里面成功一次”的方向不同。
对会修改业务状态的 agent，一次偶然成功可能不够。你可能更关心每次都遵守规则、每次都执行正确。具体计算方式应以对应版本的官方定义为准。
Resolved 仍然依赖判定规则
一个任务是否 resolved，取决于评测器检查了什么。有的检查单元测试，有的检查数据库状态，有的检查隐藏行为测试。
检查覆盖不到的缺陷不会自动出现在分数里。EvalPlus 通过增强测试说明了这一点：通过原始测试，不一定能通过更充分的测试。
指标名称、k 的取值、采样与判定方式，必须一起保存。只保留百分比会丢掉最关键的条件。