3,094
个编辑
更改
→训练阶段的规律
===训练阶段的规律===
===训练阶段的规律===
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
:<math>
N\propto C^{0.73}
</math>
:<math>
D\propto C^{0.27}
</math>
这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。
<nowiki>[math]\displaystyle N_{\text{opt}}(C)\propto C^{0.5},\qquad D_{\text{opt}}(C)\propto C^{0.5}[/math]</nowiki>
<nowiki>[math]\displaystyle N_{\text{opt}}(C)\propto C^{0.5},\qquad D_{\text{opt}}(C)\propto C^{0.5}[/math]</nowiki>
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。