它在衡量什么?
从 LeetCode、AtCoder 和 Codeforces 收集竞赛题,并记录发布时间。时间窗口是阅读结果时必须保留的条件,而非可省略的备注。
如何得到这个分数?
生成候选程序并执行测试,以 pass@k 等指标统计结果。官方同时研究代码生成、自我修复、代码执行和测试输出预测等场景。
把任务想具体一点
示意任务:将一道有明确输入、输出和复杂度约束的算法题转换为程序,并通过隐藏测试。此示例为编辑概括。
为什么值得关注
- 题目时间戳有助于选择训练截止日期之后的任务。
- 明确 release 与时间窗口便于检查可比性。
分数之外的边界
- 竞赛编程并不等价于维护大型仓库。
- 时间划分可降低污染风险,但不能证明完全没有污染。
- 采样次数、解码设置与测试时限会影响分数。
适合用来判断
比较算法实现与代码推理的一个能力侧面。
不适合直接推断
直接预测 agent 的产品交付效率。
回到原始来源
以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。