O4-Mini (Medium)
- 74.2%
- 98.2%
- 86.5%
- 52.7%
项目测评
LiveCodeBench 代码生成 · 2024-08-01 至 2025-05-01
LiveCodeBench · 28 条配置有公开分数，按独立指标查看结果和测试条件。
报告身份与条件
资料日期 2026-10-19 · 报告发布日期 —。运行日期与测试条件见各条记录。
- 代码生成成绩按题目发布日期窗口分别比较，总体与简单／中等／困难分项均采用逐题Pass@1的算术均值，显示一位小数。
- 逐题Pass@1已为0–100百分数，不再次乘100；各项题数分别列出，缺少该难度题目时保留空值。
- 题目覆盖LeetCode、AtCoder和Codeforces；日期窗口及题目数量不代表模型实际运行日或独立生成样本次数。
- 预估训练截止日是评测项目的声明，不是型号发布日期；截止日达到或晚于窗口起点的配置保留成绩、独立标识，不参与排名图表。
- 同名模型的推理档位和调用模板分别保留；生成采样、运行日期与测试设置以对应报告说明为准。
- 本报告比较指定题目窗口内的代码生成能力，适用于该范围的模型选型；不同时间窗口和评测设置分别比较。
- 官网默认题目窗口为 2024-08-01 至 2025-05-01（含边界），同组 454 题。
Pass@1
简单
完整结果与对象版本
28 / 28 条配置有本范围的公开分数；列表展示有分数的配置，缺项保留“未提供”。同名型号的不同运行配置分别列出。
Grok-3-Mini (High)
- 66.7%
- 97.3%
- 74.5%
- 44.8%
DeepSeek-R1-0528
- 73.1%
- 98.7%
- 85.2%
- 50.7%
Gemini-2.5-Flash-04-17
- 60.6%
- 99.1%
- 70.2%
- 33%
XBai-o4-medium
- 65%
- 98.2%
- 82.3%
- 35%
O4-Mini (Low)
- 65.9%
- 98.2%
- 80.1%
- 38.4%
Gemini-2.5-Pro-06-05
- 73.6%
- 99.1%
- 87.2%
- 50.2%
O3-Mini-2025-01-31 (Low)
- 57%
- 99.1%
- 68.8%
- 26.1%
O3-Mini-2025-01-31 (Med)
- 63%
- 99.1%
- 80.1%
- 31.5%
Gemini-2.5-Flash-05-20
- 61.9%
- 99.1%
- 71.6%
- 35%
GPT-4-Turbo-2024-04-09
- 28.7%
- 81%
- 24.8%
- 3.1%
Claude-Sonnet-4 (Thinking)
- 55.9%
- 97.3%
- 66%
- 26.6%
Qwen3-235B-A22B
- 65.9%
- 99.1%
- 80.1%
- 37.9%
O3-Mini-2025-01-31 (High)
- 67.4%
- 99.1%
- 84.4%
- 38.4%
Claude-3.5-Sonnet-20241022
- 36.4%
- 91.2%
- 34.3%
- 8.2%
Claude-Sonnet-4
- 47.1%
- 96.4%
- 53.9%
- 15.8%
O3 (High)
- 75.8%
- 99.1%
- 84.4%
- 57.1%
OpenCodeReasoning-Nemotron-1.1-32B
- 66.8%
- 97.9%
- 79.6%
- 41.1%
Claude-3-Haiku
- 20.2%
- 62.3%
- 12.6%
- 2.8%
Claude-Opus-4
- 46.9%
- 94.5%
- 52.5%
- 17.2%