DeepSeek-R1-Zero

DeepSeek-R1-Zero 是 DeepSeek 团队开发的第一代推理模型，通过大规模强化学习（RL）训练显著提升了语言模型的推理能力。与传统的监督微调（SFT）方法不同，DeepSeek-R1-Zero 在没有使用监督微调的情况下，完全依赖强化学习进行训练，展现出强大的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。

技术特点

• 强化学习训练：DeepSeek-R1-Zero 通过大规模强化学习训练，显著提升了语言模型的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。
• 无监督微调：与传统的监督微调方法不同，DeepSeek-R1-Zero 完全依赖强化学习进行训练，无需监督微调。
• 推理能力：DeepSeek-R1-Zero 在数学、代码生成和 STEM 相关任务中展现出强大的推理能力，与 OpenAI 的 GPT o1-1217 模型相当。

问题与优化

尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的 DeepSeek-R1 模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。

应用场景

DeepSeek-R1-Zero 在以下领域展现出应用潜力： - **数学与代码生成**：在数学和代码生成任务中表现出色，能够高效解析复杂信息。 - **STEM 相关任务**：在科学、技术、工程和数学（STEM）相关任务中展现出强大的推理能力。

未来展望

DeepSeek 团队计划进一步优化强化学习在推理任务中的应用，并探索更多蒸馏技术的潜力，以提升小型模型的推理能力。

参考文献

• HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network\[J/OL\]. 2015. DOI:10.48550/arxiv.1503.02531. [1](https://arxiv.org/pdf/1503.02531)
• DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., … Zhang, Z. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (No. arXiv:2501.12948). arXiv. [2](https://doi.org/10.48550/arXiv.2501.12948)

加入我们

亲爱的社区成员和知识爱好者：我们正在寻找对知识分享充满热情的志愿者，加入我们的集智百科词条编写团队！无论你是某个领域的专家，还是对某一主题有浓厚兴趣，我们都欢迎你的加入。通过编写和编辑百科词条，你将有机会为全球读者提供准确、权威的信息，同时提升自己的写作和研究能力。

我们需要的帮助

- 编写新的集智百科词条，涵盖复杂系统、人工智能等多个领域 - 更新和完善现有词条，确保信息的准确性和时效性 - 校对和审核其他志愿者提交的内容，确保词条质量

我们希望你具备

- 良好的写作能力，能够清晰、简洁地表达复杂的概念 - 对某一领域有深入了解或浓厚兴趣 - 具备基本的网络搜索和信息整理能力 - 有责任心和团队合作精神，愿意为知识共享贡献力量

如果你对知识分享充满热情，愿意为全球读者提供有价值的信息，请立即加入我们！可以发送邮件至 wangzhipeng@mail.bnu.edu.cn。让我们一起，用知识连接世界！