113
个编辑
更改
跳到导航
跳到搜索
第20行：
第20行： + + + + + + + + + + + + + + + +
无编辑摘要
- DeepSeek-R1-Zero模型通过纯强化学习训练，无需监督微调（SFT），展现出强大的推理能力。
- DeepSeek-R1-Zero模型通过纯强化学习训练，无需监督微调（SFT），展现出强大的推理能力。
- 模型在训练过程中表现出“顿悟时刻”，即自发地重新评估和优化推理步骤。
- 模型在训练过程中表现出“顿悟时刻”，即自发地重新评估和优化推理步骤。
在以往的研究中，模型的性能提升主要依赖于大量的监督数据，或者在预训练模型的基础上通过监督微调（SFT）来实现。监督微调是指在预训练模型的基础上，使用带有标注的数据进行进一步训练，使模型更好地适应特定任务（如文本分类、图像识别等），从而提升其在该任务上的性能。然而，DeepSeek-R1-Zero模型的出现打破了这一传统模式，证明了即使不使用监督微调作为冷启动，也能通过大规模强化学习（RL）显著提高推理能力。这一方法可以类比DeepMind的Alpha-Zero，后者通过自我对弈生成数据，在围棋对弈中实现了无需人类先验知识的强大决策能力。
DeepSeek-R1-Zero模型的创新主要体现在两个方面：组相对策略优化（GRPO）和规则化奖励（Rule-based reward）。
- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的批评者模型，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。
- '''规则化奖励（Rule-based reward）'''：规则化奖励则是为了防止大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。DeepSeek-R1-Zero没有使用结果或过程神经奖励模型，而是要求模型在提供答案的同时输出规范化的思考过程。这就像为了防止科研小组通过作弊取得优势，要求他们必须记录规范的解题过程，而不仅仅是给出结果。
基于上述策略，DeepSeek-R1-Zero的训练展示了两个显著结果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“顿悟时刻”。这些结果表明，DeepSeek-R1-Zero在推理能力上取得了重要突破。
然而，DeepSeek-R1-Zero也面临一些挑战。由于在预训练阶段完全放弃了对计算资源消耗巨大的监督学习，模型具有明显的成本优势。但与此同时，完全放弃监督学习也导致输出结果不稳定，且可读性较差。这一问题的存在引发了对模型优化的进一步思考。
受到DeepSeek-R1-Zero成果的启发，研究人员提出了两个未来研究方向。首先，作为冷启动，纳入少量高质量数据能否进一步提高推理性能或加速收敛？其次，如何才能训练出一个用户友好型模型，不仅能生成清晰连贯的思维链（CoT），还能展示强大的通用能力？这些问题的探索将为模型的发展提供新的思路和可能性。
===冷启动数据与多阶段训练===
===冷启动数据与多阶段训练===