“DeepSeek-R1-Zero”的版本间的差异

2025年2月24日 (一) 11:00的版本

DeepSeek-R1-Zero 是 DeepSeek 团队开发的第一代推理模型，通过大规模强化学习（RL）训练显著提升了语言模型的推理能力。与传统的监督微调（SFT）方法不同，DeepSeek-R1-Zero 在没有使用监督微调的情况下，完全依赖强化学习进行训练，展现出强大的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。

技术特点

DeepSeek-R1-Zero 通过大规模强化学习训练，显著提升了语言模型的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。与传统的监督微调方法不同，DeepSeek-R1-Zero 完全依赖强化学习进行训练，无需监督微调。DeepSeek-R1-Zero 在数学、代码生成和 STEM 相关任务中展现出强大的推理能力，与 OpenAI 的 GPT o1-1217 模型相当。

尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的DeepSeek-R1模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。

DeepSeek-R1-Zero的强化学习算法

DeepSeek-R1-Zero模型使用了一种新型的强化学习算法，即组相对策略优化算法（Group Relative Policy Optimization, 简称GRPO），该算法是对经典的强化学习算法近端策略优化（Proximal Policy Optimization, PPO）的改进。二者最大的区别在于：PPO算法需要学习优化一个价值网络（Value Network）来充当评判者的决策来对生成的策略进行评估。但是，训练一个价值网络需要耗费大量内存，因此GRPO算法去掉了价值网络，并通过引入组相对奖励（Group Relative Reward）来优化策略，使得策略在组内相对表现更好，而不是仅仅依赖于绝对奖励。

GRPO与PPO算法之间的对比可以用下图进行清晰地表示：

由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。

目标函数

具体地，GRPO算法优化的目标函数为：

[math]\displaystyle{ \mathcal{J_{GRPO}=\mathbb{E}_{q\sim P(Q),\{o_i\}_{i=1}^G\sim \pi_{old}(O|q)}\frac{1}{G}\sum_{i=1}^G\left(\right) }[/math]

应用场景

DeepSeek-R1-Zero 在以下领域展现出应用潜力：

数学与代码生成：在数学和代码生成任务中表现出色，能够高效解析复杂信息。
STEM 相关任务：在科学、技术、工程和数学（STEM）相关任务中展现出强大的推理能力。

未来展望

DeepSeek 团队计划进一步优化强化学习在推理任务中的应用，并探索更多蒸馏技术的潜力，以提升小型模型的推理能力。

参考文献

HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network\[J/OL\]. 2015. DOI:10.48550/arxiv.1503.02531. [1](https://arxiv.org/pdf/1503.02531)
DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., … Zhang, Z. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (No. arXiv:2501.12948). arXiv. [2](https://doi.org/10.48550/arXiv.2501.12948)

加入我们

亲爱的社区成员和知识爱好者：我们正在寻找对知识分享充满热情的志愿者，加入我们的集智百科词条编写团队！无论你是某个领域的专家，还是对某一主题有浓厚兴趣，我们都欢迎你的加入。通过编写和编辑百科词条，你将有机会为全球读者提供准确、权威的信息，同时提升自己的写作和研究能力。

我们需要的帮助

- 编写新的集智百科词条，涵盖复杂系统、人工智能等多个领域 - 更新和完善现有词条，确保信息的准确性和时效性 - 校对和审核其他志愿者提交的内容，确保词条质量

我们希望你具备

- 良好的写作能力，能够清晰、简洁地表达复杂的概念 - 对某一领域有深入了解或浓厚兴趣 - 具备基本的网络搜索和信息整理能力 - 有责任心和团队合作精神，愿意为知识共享贡献力量

如果你对知识分享充满热情，愿意为全球读者提供有价值的信息，请立即加入我们！可以发送邮件至 wangzhipeng@mail.bnu.edu.cn。让我们一起，用知识连接世界！

@@ 第11行： / 第11行： @@
 GRPO与PPO算法之间的对比可以用下图进行清晰地表示：
-[[文件:Grpo.png|610x277|GRPO算法与PPO算法的对比]]
+[[文件:Grpo.png|GRPO算法与PPO算法的对比|居左|610x217像素]]
 由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。