更改

2015年，[[Geoffrey Hinton]]、Oriol Vinyals 和[[Jeff Dean]]等学者<ref>HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[J/OL]. 2015. DOI:10.48550/arxiv.1503.02531. https://arxiv.org/pdf/1503.02531</ref>提出了在AI领域的[[知识蒸馏]]技术，即将大型、复杂模型（教师模型）的'''知识'''转移到小型、简单模型（学生模型）上去的技术。DeepSeek团队发现，不仅仅是知识，推理能力也可以从大模型蒸馏传递到小模型。

2015年，[[Geoffrey Hinton]]、Oriol Vinyals 和[[Jeff Dean]]等学者<ref>HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[J/OL]. 2015. DOI:10.48550/arxiv.1503.02531. https://arxiv.org/pdf/1503.02531</ref>提出了在AI领域的[[知识蒸馏]]技术，即将大型、复杂模型（教师模型）的'''知识'''转移到小型、简单模型（学生模型）上去的技术。DeepSeek团队发现，不仅仅是知识，推理能力也可以从大模型蒸馏传递到小模型。

DeepSeek团队用DeepSeek-R1第三阶段整理得到的80万个样本对一些开源模型如Qwen2.5和Llama3.3的小模型版本进行了直接微调。它们发现，仅仅是如此简单的微调就能大大提升小模型的推理能力，而且这种提升的幅度是仅凭大规模强化学习所不能得到的。为此，它们使用Qwen-32B-Base做了一个实验，对其分别做了与Deepseek-R1-Zero相同大规模的强化学习<ref> 这里有点微妙。原文是“we conduct large-scale RL training on Qwen-32B-Base using math, code, and STEM data, training for over '''10K steps'''”。很难说1万步的训练到底够不够大规模，也许对于671B的模型来说足够了，但对于32B的模型可能还缺了点。</ref>，以及从Deepseek-R1做蒸馏。实验结果是，大规模强化学习后得到的版本，DeepSeek-R1-Zero-Qwen-32B，与目前32B最强的推理模型QwQ-32B-Preview能力相似，然而从Deepseek-R1蒸馏得到的DeepSeek-R1-Distill-Qwen-32B表现却远超前两者。

DeepSeek团队用DeepSeek-R1第三阶段整理得到的80万个样本对一些开源模型如Qwen2.5和Llama3.3的小模型版本进行了直接微调。它们发现，仅仅是如此简单的微调就能大大提升小模型的推理能力，而且这种提升的幅度是仅凭大规模强化学习所不能得到的。为此，它们使用Qwen-32B-Base做了一个实验，对其分别做了与Deepseek-R1-Zero相同大规模的强化学习<ref> 这里有点微妙。原文是“we conduct large-scale RL training on Qwen-32B-Base using math, code, and STEM data, training for over '''10K steps'''”。很难说1万步的训练到底够不够大规模，也许对于671B的模型来说足够了，但对于32B的模型就不知道了。</ref>，以及从Deepseek-R1做蒸馏。实验结果是，大规模强化学习后得到的版本，DeepSeek-R1-Zero-Qwen-32B，与目前32B最强的推理模型QwQ-32B-Preview能力相似，然而从Deepseek-R1蒸馏得到的DeepSeek-R1-Distill-Qwen-32B表现却远超前两者。

至此我们也能暂且得出结论：模型蒸馏技术非常有用，相比之下，小模型做大规模强化学习不仅消耗大量算力，而且结果还不如从大模型蒸馏所得。然而，这一切的前提是有这么一个有强能力的大模型。因此，要获得更强的推理能力，还是需要更强的大模型和更大规模的强化学习。

至此我们也能暂且得出结论：模型蒸馏技术非常有用，相比之下，小模型做大规模强化学习不仅消耗大量算力，而且结果还不如从大模型蒸馏所得。然而，这一切的前提是有这么一个有强能力的大模型。因此，要获得更强的推理能力，还是需要更强的大模型和更大规模的强化学习。