更改

   - 这些改进使得模型在推理任务中的表现与OpenAI的o1-1217模型相当。

   - 这些改进使得模型在推理任务中的表现与OpenAI的o1-1217模型相当。

尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，且会混杂中英文甚至代码和数学符号，所以人类的阅读体验并不好。而使模型的输出符合人类习惯，就很适合使用微调技术。于是deepseek团队一定程度上又把SFT技术请了回来，在最初先使用少量标注数据对基模进行SFT，作为'''冷启动'''，然后再进行 DeepSeek-R1-Zero 所经历的'''大规模强化学习'''<ref>微妙的是，Deepseek团队并没有说明这个大规模到底有多大规模，尤其是究竟使用了多少数据，并没有说清楚。</ref>。

尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，且会混杂中英文甚至代码和数学符号，所以人类的阅读体验并不好。而使模型的输出符合人类习惯，就很适合使用微调技术。于是deepseek团队一定程度上又把SFT技术请了回来，在最初先使用少量标注数据对基模进行SFT，作为'''冷启动'''，然后再进行 DeepSeek-R1-Zero 所经历的'''大规模强化学习'''<ref>微妙的是，Deepseek团队并没有说明这个大规模到底有多大规模，尤其是究竟使用了多少数据，并没有说清楚。作为参考， DeepSeekMath-Instruct-7B的强化学习阶段使用了14.4万个样本数据。R1的强化学习阶段所用的数据量应远胜这个量级。</ref>。

这次冷启动阶段的SFT和以往的“先SFT后RL”训练过程有显著区别，最大的区别在于数量上。比如DeepseekMath在RL前的SFT阶段使用了77.6万个样本，而这次的冷启动阶段只使用了几千个。也正因为冷启动阶段用于微调的样本量相对较少，所以工程人员可以精心挑选这些样本，因此它们的质量也比以往SFT阶段用到的数据要高得多。事先使用高质量数据微调后，模型在开始就会使用人类偏好的语言和思维风格进行思考，吐出对人类阅读体验友好的结果。且由于这些微调数据一般都有高质量的思维链（Chain of Thoughts），在后续的强化学习之始可以跳过不断随机摸索的阶段，快速发展出使用思维链进行复杂推理的能力。因此，少批量高质量数据的冷启动不仅能使模型输出符合人类阅读偏好，还能使模型更快收敛，获得更强的推理能力。不过即便经过了冷启动，大模型在第二阶段的在大规模强化学习过程中海水显示出语言混杂的现象。为了解决这一问题，Deepseek团队还在训练过程中加入了“语言一致性奖励”，即奖励模型尽可能使用一致的语言来思考和回答。

这次冷启动阶段的SFT和以往的“先SFT后RL”训练过程有显著区别，最大的区别在于数量上。比如DeepseekMath在RL前的SFT阶段使用了77.6万个样本，而这次的冷启动阶段只使用了几千个。也正因为冷启动阶段用于微调的样本量相对较少，所以工程人员可以精心挑选这些样本，因此它们的质量也比以往SFT阶段用到的数据要高得多。事先使用高质量数据微调后，模型在开始就会使用人类偏好的语言和思维风格进行思考，吐出对人类阅读体验友好的结果。且由于这些微调数据一般都有高质量的思维链（Chain of Thoughts），在后续的强化学习之始可以跳过不断随机摸索的阶段，快速发展出使用思维链进行复杂推理的能力。因此，少批量高质量数据的冷启动不仅能使模型输出符合人类阅读偏好，还能使模型更快收敛，获得更强的推理能力。不过即便经过了冷启动，大模型在第二阶段的在大规模强化学习过程中海水显示出语言混杂的现象。为了解决这一问题，Deepseek团队还在训练过程中加入了“语言一致性奖励”，即奖励模型尽可能使用一致的语言来思考和回答。