3,094
个编辑
更改
跳到导航
跳到搜索
第2行：
第2行： − * 强化学习训练：DeepSeek-R1-Zero 通过大规模强化学习训练，显著提升了语言模型的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。+ − * 无监督微调：与传统的监督微调方法不同，DeepSeek-R1-Zero 完全依赖强化学习进行训练，无需监督微调。+ − * 推理能力：DeepSeek-R1-Zero 在数学、代码生成和 STEM 相关任务中展现出强大的推理能力，与 OpenAI 的 GPT o1-1217 模型相当。+ + + + + + − ==问题与优化== − 尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的 DeepSeek-R1 模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。
无编辑摘要
==技术特点==
==技术特点==
DeepSeek-R1-Zero 通过大规模强化学习训练，显著提升了语言模型的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。与传统的监督微调方法不同，DeepSeek-R1-Zero 完全依赖强化学习进行训练，无需监督微调。DeepSeek-R1-Zero 在数学、代码生成和 STEM 相关任务中展现出强大的推理能力，与 OpenAI 的 GPT o1-1217 模型相当。
尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的[[DeepSeek-R1]]模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。
==DeepSeek-R1-Zero的强化学习算法==
DeepSeek-R1-Zero模型使用了一种新型的强化学习算法，即[[组相对策略优化算法]]（Group Relative Policy Optimization, 简称GRPO），该算法是对经典的强化学习算法[[近端策略优化]]（Proximal Policy Optimization, PPO）的改进。二者最大的区别在于：PPO算法需要学习优化一个价值网络（Value Network）来充当评判者的决策来对生成的策略进行评估。但是，训练一个价值网络需要耗费大量内存，因此GRPO算法去掉了价值网络，并通过引入组相对奖励（Group Relative Reward）来优化策略，使得策略在组内相对表现更好，而不是仅仅依赖于绝对奖励。
===目标函数===
==应用场景==
==应用场景==