453
个编辑
更改
→性能表现
下图显示了 DeepSeek 进行的测试结果，该测试针对 OpenAI 的 o1 模型在数学、编码和推理任务上测试了其大型语言模型的三个版本。DeepSeek-R1 在数学和编码基准测试中击败或与o1相媲美。<ref>DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., … Zhang, Z. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (No. arXiv:2501.12948). arXiv. https://doi.org/10.48550/arXiv.2501.12948</ref>
下图显示了 DeepSeek 进行的测试结果，该测试针对 OpenAI 的 o1 模型在数学、编码和推理任务上测试了其大型语言模型的三个版本。DeepSeek-R1 在数学和编码基准测试中击败或与o1相媲美。<ref>DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., … Zhang, Z. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (No. arXiv:2501.12948). arXiv. https://doi.org/10.48550/arXiv.2501.12948</ref>
====知识基准测试====
====知识基准测试====
在 MMLU、MMLU-Pro 和 GPQA Diamond 等知识基准测试表明，DeepSeek-R1 在 STEM（科学、技术、工程和数学）相关问题上相比 DeepSeek-V3 具有显著的改进。研究者将其归因于大规模强化学习（reinforcement learning, RL）的使用。
在 MMLU、MMLU-Pro 和 GPQA Diamond 等知识基准测试表明，DeepSeek-R1 在 STEM（科学、技术、工程和数学）相关问题上相比 DeepSeek-V3 具有显著的改进。研究者将其归因于大规模强化学习（reinforcement learning, RL）的使用。
* MMLU (Massive Multitask Language Understanding) 是一项涵盖多学科、多领域的大规模基准测试，旨在评估语言模型在不同任务和学科中的表现。这些任务包括人文、科学、社会科学和数学等多个领域的高中至专业水平的问题。DeepSeek-R1 在 MMLU 基准测试中取得了 90.8% 的 Pass@1 准确率，显著优于 DeepSeek-V3，展示了其强大的知识处理和推理能力。
* MMLU-Pro 是一个更加复杂和鲁棒的多任务语言理解基准，设计用于挑战模型在更高难度任务中的表现。与 MMLU 相比，MMLU-Pro 更强调推理能力和跨领域的综合性。DeepSeek-R1 在这一基准中取得了 84.0% 的准确率，超越了 DeepSeek-V3，并在挑战性更高的任务中展现了卓越的推理能力。
* GPQA Diamond (Graduate-Level Google-Proof Q&A Benchmark) 是一个针对研究级问答任务设计的基准，问题往往需要复杂的推理和深度分析才能回答。DeepSeek-R1 在这一基准中的表现达到 71.5% 的 Pass@1 准确率，显著高于 DeepSeek-V3，进一步证明了其在处理复杂问题上的潜力。
====长上下文任务====
====长上下文任务====
在数学（如 AIME 2024 和 MATH-500）和编程任务（如 LiveCodeBench 和 Codeforces）中，DeepSeek-R1 的表现显著优于其他模型，并与 OpenAI-o1-1217 相当。
在数学（如 AIME 2024 和 MATH-500）和编程任务（如 LiveCodeBench 和 Codeforces）中，DeepSeek-R1 的表现显著优于其他模型，并与 OpenAI-o1-1217 相当。
* AIME，全称 American Invitational Mathematics Examination，是一项面向中学生的高水平数学竞赛，其难度介于 AMC（美国数学竞赛）和 IMO（国际数学奥林匹克竞赛）之间，享有极高的声誉与含金量。与 AMC 相比，AIME 的试题更具挑战性，需要参赛者具备更强的数学推理能力和问题解决技巧。同时，AIME 也是选拔美国数学奥林匹克竞赛（USAMO）和国际数学奥林匹克竞赛（IMO）国家队的重要环节之一。在这一测试中，DeepSeek-R1 达到了 79.8% 的 Pass@1 准确率，略高于 OpenAI o1-1217 模型的 79.2%。这一结果表明，DeepSeek-R1 具备以较高准确率解决高中生水平复杂数学问题的能力。
* MATH-500 数据集收录了 500 道难度极高的数学竞赛题，涵盖代数、几何、数论、组合数学等多个领域。这些题目要求深厚的数学知识储备以及复杂的推理步骤才能解答。在这一测试中，DeepSeek-R1 以 97.3% 的惊人成绩表现出色，与 OpenAI 的 o1-1217 模型持平，并显著超越了其他对比模型。这一表现表明，DeepSeek-R1 已经能够胜任大学水平的数学竞赛题解答，展现了其卓越的数学推理能力。
* Codeforces 是全球知名的编程竞赛平台，以高难度和强竞争性闻名，吸引了来自世界各地的顶尖程序员参赛。其竞赛题目通常需要选手具备扎实的算法和数据结构知识，以及优秀的编程能力。在 Codeforces 平台上，DeepSeek-R1 获得了 2029 的 Elo 评分，超过了 96.3% 的人类程序员。这一结果表明，DeepSeek-R1 的编程能力已经超越了绝大多数人类程序员，成为算法和编程领域的强大竞争者。
====蒸馏模型的性能评价====
====蒸馏模型的性能评价====