DeepSeek-R1

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
Qige96（讨论 | 贡献）2025年1月27日 (一) 23:15的版本 （→‎背景）
跳到导航 跳到搜索

DeepSeek-R1是DeepSeek团队推出的第一代推理模型，通过强化学习（RL）和蒸馏技术显著提升了语言模型的推理能力。DeepSeek-R1-Zero模型在没有监督微调（SFT）的情况下，通过大规模RL训练展现出强大的推理能力，但存在可读性和语言混合问题。为了解决这些问题，DeepSeek-R1引入了冷启动数据和多阶段训练，推理性能与OpenAI的GPT o1-1217相当。此外，团队还开源了六个基于Qwen和Llama的蒸馏模型，帮助小型模型提升推理能力。

背景

该模型的开发背景源于传统语言模型在复杂推理任务中的局限性，尤其是在需要多步逻辑推理的场景中。尽管现有的语言模型在生成文本和理解语言方面表现出色，但在数学推理、代码生成等需要精确逻辑推理的任务中，表现仍然有限。

为了解决这一问题，DeepSeek 团队提出了基于强化学习的训练方法，开发了DeepSeek-R1系列模型。该模型的核心目标是通过强化学习和大规模训练，提升模型在复杂推理任务中的表现。DeepSeek-R1-Zero是这一系列中的第一个模型，它通过纯强化学习训练，无需监督微调（SFT），展现出强大的推理能力。然而，DeepSeek-R1-Zero 在训练过程中也暴露出一些问题，如可读性差、语言混合等。

为了进一步优化模型，DeepSeek 团队引入了冷启动数据和多阶段训练方法，开发了DeepSeek-R1。冷启动数据的使用使得模型在训练初期能够更快地收敛，并且通过多阶段训练，模型的推理能力和可读性得到了显著提升。此外，团队还探索了蒸馏技术，将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中也能表现出色。

总的来说，DeepSeek-R1 的开发背景是为了解决传统语言模型在复杂推理任务中的不足，通过强化学习和蒸馏技术，提升模型在数学推理、代码生成等任务中的表现，并为研究社区提供开源的推理模型资源。

DeepSeek系列模型

2023年7月，国内大性私募幻方成立了子公司深度求索，储备了过万张A100和H800计算显卡，开启了半年迭代一版大模型的历程：

  • 2024年1月，深度求索发布了第一代模型，DeepSeekMoE系列，最大的版本有67B参数，确立了MoE架构路线，能大幅减少训练和生成期间的成本。另外，DeepSeekMoE发现了细粒度多数量Expert模块以及设立独立的共享Expert模块能获得稳定且较好的效果。
  • 2024年5月，深度求索发布了第二代模型，DeepSeek-v2，最大的版本有273B参数。其中最重要的创新是多头潜在注意力机制(Multi-head Latent Attention，MLA)。MLA能大幅降低模型在生成（推理）阶段的显卡缓存占用，据报告可降到原先的5%-13%，因而可以大大提高其在生成阶段的效率。这一创新，配合其他创新使得DeepSeek-v2的生成文字的成本降到只有每百万token一块钱。
  • 2024年12月，深度求索发布了第三代模型，DeepSeek-v3，最大的版本有671B参数。v3采用了多token预测训练（Multi-Token Prediction, MTP）技术以及无损负载均衡技术，在训练过程大幅提高模型能力，最终使得其模型能力比肩GPT-4o的最新版本。此外，DeepSeek-v3还第一次证明了大规模fp8混合精度训练的可行性，提出了DualPipe算法来重叠集群间计算和通信的开销，以及针对MoE架构的PD分离策略等各种技术。

技术特点

强化学习训练

  - DeepSeek-R1-Zero模型通过纯强化学习训练，无需监督微调（SFT），展现出强大的推理能力。
  - 模型在训练过程中表现出“顿悟时刻”，即自发地重新评估和优化推理步骤。

冷启动数据与多阶段训练

  - 为了解决可读性和语言混合问题，DeepSeek-R1引入了冷启动数据和多阶段训练方法。
  - 这些改进使得模型在推理任务中的表现与OpenAI的o1-1217模型相当。

尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，且会混杂中英文甚至代码和数学符号，所以人类的阅读体验并不好。而使模型的输出符合人类习惯，就很适合使用微调技术。于是deepseek团队一定程度上又把SFT技术请了回来，在最初先使用少量标注数据对基模进行SFT，作为冷启动，然后再进行 DeepSeek-R1-Zero 所经历的大规模强化学习。这次冷启动阶段的SFT和以往的“先SFT后RL”训练过程有显著区别，最大的区别在于数量上。比如DeepseekMath在RL前的SFT阶段使用了77.6万个样本，而这次的冷启动阶段只使用了几千个。也正因为冷启动阶段用于微调的样本量相对较少，所以工程人员可以精心挑选这些样本，因此它们的质量也比以往SFT阶段用到的数据要高得多。事先使用高质量数据微调后，模型在开始就会使用人类偏好的语言和思维风格进行思考，吐出对人类阅读体验友好的结果。且由于这些微调数据一般都有高质量的思维链（Chain of Thoughts），在后续的强化学习之始可以跳过不断随机摸索的阶段，快速发展出使用思维链进行复杂推理的能力。因此，少批量高质量数据的冷启动不仅能使模型输出符合人类阅读偏好，还能使模型更快收敛，获得更强的推理能力。不过即便经过了冷启动，大模型在第二阶段的在大规模强化学习过程中海水显示出语言混杂的现象。为了解决这一问题，Deepseek团队还在训练过程中加入了“语言一致性奖励”，即奖励模型尽可能使用一致的语言来思考和回答。

经过第一阶段得冷启动和第二阶段的大规模强化学习后，第三和第四阶段的训练分别是提高模型各方面能力的大规模微调和增强模型有用性及无害性的进一步强化学习。第三阶段和第一阶段虽然都是微调，但在目的和规模上都不一样。第一阶段的冷启动微调是为了使模型的输出更具可读性和激发其后续的思维推理潜力，而第三阶段的微调是为了提升模型的其他通用能力，比如写作，问答、翻译、角色扮演、自我反思等。为此，相比于冷启动所需的几千个数据样本，第三阶段的微调使用的80多万样本数据。这里面包括各种来源的数据，比如说训练Deepseek-v3时用到的SFT数据集。有趣的是，这80多万样本中60多万是从之前R1的训练过程中所得的checkpoints中得来。团队人员使用prompt去让checkpoint模型做出回答，然后使用一个训练好的奖励模型来给判断哪些回答质量高可以保留，哪些质量差要被拒绝、丢弃掉，如此获得一个由这些checkpoint生成的，但质量又高于这些checkpoint平均水平的数据集，从而继续训练。这个过程也被称为拒绝采样（Rejection Sampling）。

使用者80多万数据样本对模型进一步微调后，模型不仅有了强大的思维推理能力，还有了各方面的能力。现在最后一步就是要进一步提高模型的推理能力以及有用性，并使其输出无害。这也是第四阶段的进一步强化学习要做的事情。对用于提升其推理能力的数据，可以遵循 DeepSeek-R1-Zero 的方法获得，而用于提升有用性和无害性的数据，就需要收集模型对于prompt的回答并人工分析，标注出有害部分的数据，使用这些标注好的数据去做强化学习。这也被称作从人类反馈中的强化学习（Reinforcement Learning from Human Feedback）。

总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：

  • 第一阶段：冷启动SFT，培养正确（符合人类偏好）的语言习惯、激发模型的推理潜能
  • 第二阶段：大规模RL，使模型涌现出强推能力
  • 第三阶段：大规模SFT，提高模型其他方面的通用能力
  • 第四阶段：进一步RL，进一步提高推理能力，有用性，和减少其输出的有害内容

可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段SFT、第六RL，第七阶段SFT、第八阶段RL，不断迭代提高模型的能力。

蒸馏技术

  - DeepSeek团队开源了六个基于Qwen和Llama的蒸馏模型，帮助小型模型提升推理能力。
  - 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。

2015年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean等学者[1]提出了在AI领域的知识蒸馏技术，即将大型、复杂模型（教师模型）的知识转移到小型、简单模型（学生模型）的技术，旨在提升小模型的性能并降低计算资源需求。例如，在分类任务中，教师模型进行预测时，除了给出概率最大的类别作为硬标签，也会同时给出每个类别的概率分布作为软标签。学生模型根据教师模型的软标签和数据本身的硬标签进行训练，其损失函数包括学生模型输出与数据本身硬标签之间的交叉熵损失，学生模型输出与教师模型软标签的蒸馏损失。

DeepSeek团队使用蒸馏技术将大模型的推理能力传递到小型模型，帮助小型模型提高推理能力，使其在推理任务中表现更加优异。

DeepSeek团队将DeepSeek-R1整理的80万样本对开源模型如Qwen（Qwen, 2024b）和Llama（AI@Meta, 2024）进行了微调，使用的基础模型具体包括Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama-3.1-8B和Llama-3.3-70B-Instruct（Llama-3.3推理能力略优于Llama-3.1，故选Llama-3.3）。

样本包括大约60万个推理数据和20万个非推理数据。DeepSeek团队策划推理提示，并通过执行来自上述强化学习训练的检查点的拒绝采样来生成推理轨迹。在前一阶段，DeepSeek团队只包括可以使用基于规则的奖励进行评估的数据。然而，在这个阶段，DeepSeek团队通过结合额外的数据来扩展数据集，其中一些数据使用生成性奖励模型，通过将真实情况和模型预测输入到DeepSeek-V3中进行判断。此外，由于模型输出有时混乱且难以阅读，DeepSeek团队已经过滤掉了包含混合语言、长段落和代码块的推理链。对于每个提示，DeepSeek团队采样多个响应并只保留正确的。最后，DeepSeek团队收集了大约60万个与推理相关的训练样本。对于写作、事实问答、自我认知和翻译等非推理数据，DeepSeek团队采用DeepSeek - V3的流程，并复用DeepSeek - V3的部分监督微调数据集。对于某些非推理任务，DeepSeek团队在通过提示回答问题之前，调用DeepSeek - V3生成一个潜在的思维链。然而，对于像“你好”这样简单的查询，DeepSeek团队不会提供思维链作为回复。最后，DeepSeek团队总共收集了大约20万个与推理无关的训练样本。 最后，DeepSeek团队使用上述策划的数据集（大约80万个样本）对DeepSeek-V3-Base进行了两个周期的微调。研究结果表明：这种简单的蒸馏方法显著提升了小型模型的推理能力。

对于蒸馏后的模型，尽管纳入强化学习（RL）可以大幅提升模型性能，但是DeepSeek团队的目的是展示蒸馏技术的有效性，故仅应用监督微调（SFT），不包含强化学习（RL）阶段。研究社区可以继续探究强化学习的阶段。

性能表现

下图显示了 DeepSeek 进行的测试结果，该测试针对 OpenAI 的 o1 模型在数学、编码和推理任务上测试了其大型语言模型的三个版本。DeepSeek-R1 在数学和编码基准测试中击败或与o1相媲美。[2]


教育领域任务

在 MMLU、MMLU-Pro 和 GPQA Diamond 等知识基准测试表明，DeepSeek-R1 在 STEM（科学、技术、工程和数学）相关问题上相比 DeepSeek-V3 具有显著的改进。研究者将其归因于大规模强化学习（reinforcement learning, RL）的使用。

  • MMLU (Massive Multitask Language Understanding) 是一项涵盖多学科、多领域的大规模基准测试，旨在评估语言模型在不同任务和学科中的表现。这些任务包括人文、科学、社会科学和数学等多个领域的高中至专业水平的问题。DeepSeek-R1 在 MMLU 基准测试中取得了 90.8% 的 Pass@1 准确率，显著优于 DeepSeek-V3，展示了其强大的知识处理和推理能力。
  • MMLU-Pro 是一个更加复杂和鲁棒的多任务语言理解基准，设计用于挑战模型在更高难度任务中的表现。与 MMLU 相比，MMLU-Pro 更强调推理能力和跨领域的综合性。DeepSeek-R1 在这一基准中取得了 84.0% 的准确率，超越了 DeepSeek-V3，并在挑战性更高的任务中展现了卓越的推理能力。
  • GPQA Diamond (Graduate-Level Google-Proof Q&A Benchmark) 是一个针对研究级问答任务设计的基准，问题往往需要复杂的推理和深度分析才能回答。DeepSeek-R1 在这一基准中的表现达到 71.5% 的 Pass@1 准确率，显著高于 DeepSeek-V3，进一步证明了其在处理复杂问题上的潜力。

长上下文任务

DeepSeek-R1 在 FRAMES（依赖长上下文的问答任务）基准测试中展现了强大的文档分析能力。

  • FRAMES 是一项评估模型在长上下文环境中问答能力的基准测试，旨在检测其文档分析和信息提取能力。DeepSeek-R1 在该测试中取得了 82.5% 的准确率，远超 DeepSeek-V3，展现了其在复杂文档分析任务中的显著优势。

事实性问答

在 SimpleQA 基准测试中，DeepSeek-R1 超越了 DeepSeek-V3，证明了其处理基于事实查询的能力。但是在中文 SimpleQA 基准上，DeepSeek-R1 的表现不如 DeepSeek-V3，主要由于安全强化学习（safety RL）导致模型拒绝回答某些问题。

  • FRAMES 是一项评估模型在长上下文环境中问答能力的基准测试，旨在检测其文档分析和信息提取能力。DeepSeek-R1 在该测试中取得了 82.5% 的准确率，远超 DeepSeek-V3，展现了其在复杂文档分析任务中的显著优势。

指令执行与规范化输出

DeepSeek-R1 在 IF-Eval 基准测试中表现优异。这个测试专注于评估模型遵循格式指令（format instructions）的能力。这些改进主要归因于监督微调（supervised fine-tuning, SFT）和强化学习（RL）后期阶段中指令遵循数据的引入

  • IF-Eval (Instruction Following Evaluation) 旨在评估模型遵循格式化指令的能力，是衡量其在严格指令执行中的表现的重要基准。DeepSeek-R1 在 IF-Eval 中表现卓越，得益于训练过程中加入了指令遵循数据。这种改进显示出 DeepSeek-R1 在格式化和结构化任务中的显著优势。

写作和开放问答任务

在 AlpacaEval 2.0 和 ArenaHard 基准测试中，DeepSeek-R1 表现出色，进一步表明其在写作任务和开放问答（open-domain question answering）中的优势，强调了大规模强化学习的泛化优势，不仅增强了推理能力，还提升了跨领域的表现能力。此外，DeepSeek-R1 生成的摘要长度简洁，表明 DeepSeek-R1 在基于 GPT 的评估中避免了引入长度偏差（length bias），进一步巩固了其在多任务中的稳健性。

  • AlpacaEval 2.0 是一个评估模型在开放式问答任务中能力的基准，测试模型在非考试导向任务（如写作和回答复杂问题）中的表现。DeepSeek-R1 在这一基准中实现了 87.6% 的胜率（win-rate），显著优于 DeepSeek-V3，证明了其强大的写作能力和开放域问答能力。
  • ArenaHard 是一个以对话评估为主的高难度基准测试，使用 GPT-4 作为裁判来比较模型在复杂对话中的表现。DeepSeek-R1 在该基准中实现了 92.3% 的胜率，展现了其在复杂对话任务中的优越性能，同时避免了由于输出长度导致的偏差。

数学和编程任务

在数学（如 AIME 2024 和 MATH-500）和编程任务（如 LiveCodeBench 和 Codeforces）中，DeepSeek-R1 的表现显著优于其他模型，并与 OpenAI-o1-1217 相当。

  • AIME，全称 American Invitational Mathematics Examination，是一项面向中学生的高水平数学竞赛，其难度介于 AMC（美国数学竞赛）和 IMO（国际数学奥林匹克竞赛）之间，享有极高的声誉与含金量。与 AMC 相比，AIME 的试题更具挑战性，需要参赛者具备更强的数学推理能力和问题解决技巧。同时，AIME 也是选拔美国数学奥林匹克竞赛（USAMO）和国际数学奥林匹克竞赛（IMO）国家队的重要环节之一。在这一测试中，DeepSeek-R1 达到了 79.8% 的 Pass@1 准确率，略高于 OpenAI o1-1217 模型的 79.2%。这一结果表明，DeepSeek-R1 具备以较高准确率解决高中生水平复杂数学问题的能力。
  • MATH-500 数据集收录了 500 道难度极高的数学竞赛题，涵盖代数、几何、数论、组合数学等多个领域。这些题目要求深厚的数学知识储备以及复杂的推理步骤才能解答。在这一测试中，DeepSeek-R1 以 97.3% 的惊人成绩表现出色，与 OpenAI 的 o1-1217 模型持平，并显著超越了其他对比模型。这一表现表明，DeepSeek-R1 已经能够胜任大学水平的数学竞赛题解答，展现了其卓越的数学推理能力。
  • Codeforces 是全球知名的编程竞赛平台，以高难度和强竞争性闻名，吸引了来自世界各地的顶尖程序员参赛。其竞赛题目通常需要选手具备扎实的算法和数据结构知识，以及优秀的编程能力。在 Codeforces 平台上，DeepSeek-R1 获得了 2029 的 Elo 评分，超过了 96.3% 的人类程序员。这一结果表明，DeepSeek-R1 的编程能力已经超越了绝大多数人类程序员，成为算法和编程领域的强大竞争者。

蒸馏模型的性能评价

蒸馏 DeepSeek-R1 的输出使小型模型（如 DeepSeek-R1-Distill-Qwen-7B 和 DeepSeek-R1-Distill-Qwen-32B）在多个基准上超越了 GPT-4o-0513 等非推理模型和其他对比模型。这表明蒸馏技术的有效性。

开源贡献

DeepSeek团队开源了以下模型，可以在 GitHub 主页下载：

  • DeepSeek-R1-Zero
  • DeepSeek-R1
  • 六个基于Qwen和Llama的蒸馏模型

这些开源模型为研究社区提供了宝贵的资源，帮助进一步探索语言模型的推理能力。

应用场景

  • 推理密集型任务：例如编程任务中的代码生成、算法设计，以及数学问题求解、科学推理和逻辑分析等需要复杂推理的场景。
  • 教育与知识应用：可用于解决教育领域的问题，支持知识理解与解答。
  • 文档分析与长上下文理解：适合处理需要深入文档分析和理解长上下文的任务，例如复杂信息提取与整合。
  • 开放领域问答与写作：在内容生成、问题回答以及创造性写作中具有广泛应用，例如生成高质量文本或进行内容编辑。
  • 数据分析与搜索：在数据处理与智能搜索中展现出应用潜力，能够高效解析复杂信息。

未来展望

DeepSeek团队计划进一步优化强化学习在推理任务中的应用，并探索更多蒸馏技术的潜力，以提升小型模型的推理能力。

参考文献

  1. ↑ HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[J/OL]. 2015. DOI:10.48550/arxiv.1503.02531. https://arxiv.org/pdf/1503.02531
  2. ↑ DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., … Zhang, Z. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (No. arXiv:2501.12948). arXiv. https://doi.org/10.48550/arXiv.2501.12948

加入我们

作为北师大系统科学学院教授、集智俱乐部与集智学园创始人、集智科学研究中心院长，张江从2003年开始长期从事有关复杂系统建模的工作。近年来，张江带领着北师大的研究组开始聚焦在基于新兴AI技术进行基于数据驱动的自动建模研究，并立志破解复杂系统的涌现之谜。我们希望可以有对复杂系统自动建模领域有热情，且认可这个领域发展前景的朋友一起来合作，促进这一领域的快速发展。我们希望这个叫做[math]\displaystyle{ Complexity^{AI} }[/math]，中文叫做“复杂AI次方”的开放实验室，能够真正实现思想共享、资源共享、跨学科交叉，共同为复杂系统自动建模而奋进。

详情请见：“复杂 AI 次方”开放实验室招募，挑战“涌现”难题

取自“https://wiki.swarma.org/index.php?title=DeepSeek-R1&oldid=41432”