DeepSeek-R1-Zero - 版本历史

Jake：/* 目标函数 */

2025-02-24T07:14:22Z

目标函数

2025-02-24T06:19:06Z

目标函数

2025-02-24T03:31:27Z

目标函数

2025-02-24T03:01:34Z

DeepSeek-R1-Zero的强化学习算法

2025-02-24T03:00:22Z

DeepSeek-R1-Zero的强化学习算法

2025-02-24T03:00:09Z

DeepSeek-R1-Zero的强化学习算法

2025-02-24T02:59:16Z

DeepSeek-R1-Zero的强化学习算法

2025-02-24T02:57:34Z

DeepSeek-R1-Zero的强化学习算法

2025-02-24T02:56:53Z

DeepSeek-R1-Zero的强化学习算法

2025-02-24T02:41:59Z

@@ 第24行： / 第24行： @@
 </math>
-其中：
+这里的[math]\pi_{\theta}[/math]为优化变量，即一个参数为[math]\theta[/math]的策略神经网络，[math]\pi_{\theta_{old}}[/math]为本期参数更新之前的策略神经网络，[math]\pi_{ref}[/math]为一个参考策略神经网络，[math]o_i[/math]为从策略[math]\pi_{\theta_{old}}[/math]中采样出的一组G个答案中的第[math]i[/math]个答案，[math]q[/math]是从所有问题分布[math]P(Q)[/math]抽样的一个问题。clip计算的作用是限制新旧策略的概率比在单次更新中的变化幅度，防止过度激进的更新破坏学习稳定性，就像温和引导学生走向正确方向，而非强制推动。
 <math>
 \mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})=\frac{\pi_{ref}(o_i|q)}{\pi_{\theta}(o_i|q)}-\log\frac{\pi_{ref}(o_i|q)}{\pi_{\theta}(o_i|q)}-1
 </math>
 ==应用场景==

@@ 第23行： / 第23行： @@
 \mathcal{J}_{GRPO}=\mathbb{E}_{q\sim P(Q),\{o_i\}_{i=1}^G\sim \pi_{\theta_{old}}(O|q)}\frac{1}{G}\sum_{i=1}^G\left(\min\left(\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}A_i,\mathrm{clip}\left(\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)},1-\epsilon,1+\epsilon\right)A_i\right)-\beta\cdot\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})\right),
 </math>
-这里：
 <math>
-\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})=\frac{\pi_{ref}(o_i|q)}{\pi_{\theta}(o_i|q)}-\log
+\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})=\frac{\pi_{ref}(o_i|q)}{\pi_{\theta}(o_i|q)}-\log\frac{\pi_{ref}(o_i|q)}{\pi_{\theta}(o_i|q)}-1
 </math>

@@ 第21行： / 第21行： @@
 <math>
-\mathcal{J_{GRPO}=\mathbb{E}_{q\sim P(Q),\{o_i\}_{i=1}^G\sim \pi_{old}(O|q)}\frac{1}{G}\sum_{i=1}^G\left(\right)
+\mathcal{J}_{GRPO}=\mathbb{E}_{q\sim P(Q),\{o_i\}_{i=1}^G\sim \pi_{\theta_{old}}(O|q)}\frac{1}{G}\sum_{i=1}^G\left(\min\left(\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}A_i,\mathrm{clip}\left(\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)},1-\epsilon,1+\epsilon\right)A_i\right)-\beta\cdot\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})\right),
 </math>

@@ 第12行： / 第12行： @@
 GRPO与PPO算法之间的对比可以用下图进行清晰地表示：
-[[文件:Grpo.png|GRPO算法与PPO算法的对比|居左|610x217像素]]
+[[文件:Grpo.png|GRPO算法与PPO算法的对比|居左|750x310像素]]
 由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。

←上一版本		2025年2月24日 (一) 03:00的版本
第11行：		第11行：

	GRPO与PPO算法之间的对比可以用下图进行清晰地表示：		GRPO与PPO算法之间的对比可以用下图进行清晰地表示：
		+
	[[文件:Grpo.png\|GRPO算法与PPO算法的对比\|居左\|610x217像素]]		[[文件:Grpo.png\|GRPO算法与PPO算法的对比\|居左\|610x217像素]]

@@ 第11行： / 第11行： @@
 GRPO与PPO算法之间的对比可以用下图进行清晰地表示：
-[[文件:Grpo.png|GRPO算法与PPO算法的对比]]
+[[文件:Grpo.png|610x277|GRPO算法与PPO算法的对比]]
 由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。

@@ 第5行： / 第5行： @@
 尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的[[DeepSeek-R1]]模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。
 ==DeepSeek-R1-Zero的强化学习算法==
 DeepSeek-R1-Zero模型使用了一种新型的强化学习算法，即[[组相对策略优化算法]]（Group Relative Policy Optimization, 简称GRPO），该算法是对经典的强化学习算法[[近端策略优化]]（Proximal Policy Optimization, PPO）的改进。二者最大的区别在于：PPO算法需要学习优化一个价值网络（Value Network）来充当评判者的决策来对生成的策略进行评估。但是，训练一个价值网络需要耗费大量内存，因此GRPO算法去掉了价值网络，并通过引入组相对奖励（Group Relative Reward）来优化策略，使得策略在组内相对表现更好，而不是仅仅依赖于绝对奖励。
 ===目标函数===
 ==应用场景==

@@ 第2行： / 第2行： @@
 ==技术特点==
-* 强化学习训练：DeepSeek-R1-Zero 通过大规模强化学习训练，显著提升了语言模型的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。
+DeepSeek-R1-Zero 通过大规模强化学习训练，显著提升了语言模型的推理能力，尤其是在数学、代码生成和 STEM 相关任务中。与传统的监督微调方法不同，DeepSeek-R1-Zero 完全依赖强化学习进行训练，无需监督微调。DeepSeek-R1-Zero 在数学、代码生成和 STEM 相关任务中展现出强大的推理能力，与 OpenAI 的 GPT o1-1217 模型相当。
-* 无监督微调：与传统的监督微调方法不同，DeepSeek-R1-Zero 完全依赖强化学习进行训练，无需监督微调。
-* 推理能力：DeepSeek-R1-Zero 在数学、代码生成和 STEM 相关任务中展现出强大的推理能力，与 OpenAI 的 GPT o1-1217 模型相当。
+尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，常常混杂中英文、代码和数学符号，导致可读性较差。为了解决这些问题，DeepSeek 团队在后续的[[DeepSeek-R1]]模型中引入了冷启动数据和多阶段训练方法。冷启动数据的使用使得模型在训练初期能够更快地收敛，而多阶段训练则进一步优化了模型的推理能力和可读性。
 ==应用场景==