它在衡量什么？
Full 集包含 1,140 个编程任务；Hard 子集更小。Complete 和 Instruct 使用不同任务表达方式，分别观察补全与自然语言指令下的实现。
如何得到这个分数？
在任务环境中执行生成的代码并检查测试。阅读分数时需固定题集、任务表达方式、解码策略与聊天模板。
把任务想具体一点
示意任务：组合文件处理、数据分析与标准库函数，完成一个有测试约束的 Python 程序。此示例为编辑概括。
为什么值得关注
- 多库调用比孤立的小函数更接近部分日常编程工作。
- 区分明确文档补全与简短自然语言指令。
分数之外的边界
- Full 与 Hard 的分数不可直接对比。
- 受控程序任务不能替代长期仓库工程评测。
适合用来判断
判断 Python 库使用和需求到代码的转化能力。
不适合直接推断
用单个总分推断所有语言的 agent 表现。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。