LiveCodeBench

UC Berkeley · MIT · Cornell

用带发布时间的竞赛题观察代码能力,减少旧题记忆对结果的干扰。

动态题集算法编程污染控制
定期维护最近核验 2026-10-24来源可追溯 · 编辑解读

它在衡量什么?

从 LeetCode、AtCoder 和 Codeforces 收集竞赛题,并记录发布时间。时间窗口是阅读结果时必须保留的条件,而非可省略的备注。

如何得到这个分数?

生成候选程序并执行测试,以 pass@k 等指标统计结果。官方同时研究代码生成、自我修复、代码执行和测试输出预测等场景。

把任务想具体一点

示意任务:将一道有明确输入、输出和复杂度约束的算法题转换为程序,并通过隐藏测试。此示例为编辑概括。

为什么值得关注

  • 题目时间戳有助于选择训练截止日期之后的任务。
  • 明确 release 与时间窗口便于检查可比性。

分数之外的边界

  • 竞赛编程并不等价于维护大型仓库。
  • 时间划分可降低污染风险,但不能证明完全没有污染。
  • 采样次数、解码设置与测试时限会影响分数。

适合用来判断

比较算法实现与代码推理的一个能力侧面。

不适合直接推断

直接预测 agent 的产品交付效率。

回到原始来源

以下链接是本条目事实核验的依据。解读与适用性判断由 BenchAtlas 编辑整理。