3,094
个编辑
更改
→DeepSeek-R1-Zero的强化学习算法
尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的[[DeepSeek-R1]]模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。
尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的[[DeepSeek-R1]]模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。
==DeepSeek-R1-Zero的强化学习算法==
==DeepSeek-R1-Zero的强化学习算法==
DeepSeek-R1-Zero模型使用了一种新型的强化学习算法，即[[组相对策略优化算法]]（Group Relative Policy Optimization, 简称GRPO），该算法是对经典的强化学习算法[[近端策略优化]]（Proximal Policy Optimization, PPO）的改进。二者最大的区别在于：PPO算法需要学习优化一个价值网络（Value Network）来充当评判者的决策来对生成的策略进行评估。但是，训练一个价值网络需要耗费大量内存，因此GRPO算法去掉了价值网络，并通过引入组相对奖励（Group Relative Reward）来优化策略，使得策略在组内相对表现更好，而不是仅仅依赖于绝对奖励。
DeepSeek-R1-Zero模型使用了一种新型的强化学习算法，即[[组相对策略优化算法]]（Group Relative Policy Optimization, 简称GRPO），该算法是对经典的强化学习算法[[近端策略优化]]（Proximal Policy Optimization, PPO）的改进。二者最大的区别在于：PPO算法需要学习优化一个价值网络（Value Network）来充当评判者的决策来对生成的策略进行评估。但是，训练一个价值网络需要耗费大量内存，因此GRPO算法去掉了价值网络，并通过引入组相对奖励（Group Relative Reward）来优化策略，使得策略在组内相对表现更好，而不是仅仅依赖于绝对奖励。
GRPO与PPO算法之间的对比可以用下图进行清晰地表示：
[[文件:Grpo.png|无框|左|GRPO算法与PPO算法的对比]]
由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。
===目标函数===
===目标函数===
具体地，GRPO算法优化的目标函数为：
<math>
\mathcal{J_{GRPO}=\mathbb{E}_{q\sim P(Q),\{o_i\}_{i=1}^G\sim \pi_{old}(O|q)}\frac{1}{G}\sum_{i=1}^G\left(\right)
</math>
==应用场景==
==应用场景==