更改

==技术特点==

==技术特点==

===强化学习训练===

===DeepSeek-R1-Zero与强化学习===

  - DeepSeek-R1-Zero模型通过纯强化学习训练，无需监督微调（SFT），展现出强大的推理能力。

[[DeepSeek-R1-Zero]]模型通过纯[[强化学习]]训练，无需[[监督微调]]（SFT），展现出强大的推理能力。且模型在训练过程中表现出“顿悟时刻”，即自发地重新评估和优化推理步骤。

DeepSeek-R1-Zero模型的创新主要体现在两个方面：组相对策略优化（GRPO）和规则化奖励（Rule-based reward）。

在以往的研究中，模型的性能提升主要依赖于大量的监督数据，或者在预训练模型的基础上通过[[监督微调]]（SFT）来实现。监督微调是指在[[预训练模型]]的基础上，使用带有标注的数据进行进一步训练，使模型更好地适应特定任务（如[[文本分类]]、[[图像识别]]等），从而提升其在该任务上的性能。然而，[[DeepSeek-R1-Zero]]模型的出现打破了这一传统模式，证明了即使不使用监督微调作为冷启动，也能通过大规模强化学习（RL）显著提高推理能力。这一方法可以类比[[DeepMind]]的[[Alpha-Zero]]，后者通过自我对弈生成数据，在围棋对弈中实现了无需人类先验知识的强大决策能力。

- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的批评者模型，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。

[[DeepSeek-R1-Zero]]模型的创新主要体现在两个方面：[[组相对策略优化]]（GRPO）和[[规则化奖励]]（Rule-based reward）。

- '''规则化奖励（Rule-based reward）'''：规则化奖励则是为了防止大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。DeepSeek-R1-Zero没有使用结果或过程神经奖励模型，而是要求模型在提供答案的同时输出规范化的思考过程。这就像为了防止科研小组通过作弊取得优势，要求他们必须记录规范的解题过程，而不仅仅是给出结果。

- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。

基于上述策略，DeepSeek-R1-Zero的训练展示了两个显著结果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“顿悟时刻”。这些结果表明，DeepSeek-R1-Zero在推理能力上取得了重要突破。

 

基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。

[[文件:推理过程中 DeepSeek-R1-Zero 在训练集上的平均响应时间。.png|推理过程中 DeepSeek-R1-Zero 在训练集上的平均响应时间|alt=DeepSeek-R1-Zero ⾃然⽽然地学会了⽤更多的思考时间来解决推理任务|居左|600x450像素]]

[[文件:推理过程中 DeepSeek-R1-Zero 在训练集上的平均响应时间。.png|推理过程中 DeepSeek-R1-Zero 在训练集上的平均响应时间|alt=DeepSeek-R1-Zero ⾃然⽽然地学会了⽤更多的思考时间来解决推理任务|居左|600x450像素]]

''推理过程中 DeepSeek-R1-Zero 在训练集上的平均响应时间。DeepSeek-R1-Zero ⾃然⽽然地学会了⽤更多的思考时间来解决推理任务''

''推理过程中[[DeepSeek-R1-Zero]]在训练集上的平均响应时间。[[DeepSeek-R1-Zero]]⾃然⽽然地学会了⽤更多的思考时间来解决推理任务''

 

 

===冷启动数据与多阶段训练===

===冷启动数据与多阶段训练===