336
个编辑
更改
小第39行：
第39行： + + + + +
→DeepSeek-R1-Zero与强化学习： 顿悟时刻，原文内容总结
受到[[DeepSeek-R1-Zero]]成果的启发，研究人员提出了两个未来研究方向。首先，作为冷启动，纳入少量高质量数据能否进一步提高推理性能或加速收敛？其次，如何才能训练出一个用户友好型模型，不仅能生成清晰连贯的[[思维链]]（CoT），还能展示强大的通用能力？这些问题的探索将为模型的发展提供新的思路和可能性。
受到[[DeepSeek-R1-Zero]]成果的启发，研究人员提出了两个未来研究方向。首先，作为冷启动，纳入少量高质量数据能否进一步提高推理性能或加速收敛？其次，如何才能训练出一个用户友好型模型，不仅能生成清晰连贯的[[思维链]]（CoT），还能展示强大的通用能力？这些问题的探索将为模型的发展提供新的思路和可能性。
===DeepSeek-R1-Zero 的顿悟时刻===
[[顿悟时刻]](Aha Moment) 体现了模型能自发地重新评估和优化推理步骤的能力。如下图所示。模型重新评估了其初始解题方法，并学会了为解题分配更多的思考时间。使用强化学习方法，人们不需要明确教导模型解决问题方法，只需要提供适当的激励，即可让模型自主发展出问题解决策略。这种自主性不仅展示了模型推理能力的提升，还显示了强化学习在解锁AI智能水平方面的潜力。
[[文件:table3aha.png || DeepSeek-R1-Zero 的某一中间版本中，出现的顿悟时刻]]
===冷启动数据与多阶段训练===
===冷启动数据与多阶段训练===