3,094
个编辑
更改
→大语言模型
这里，[math]\alpha\approx 0.73, \beta\approx 0.27[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
这里，[math]\alpha\approx 0.73, \beta\approx 0.27[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
随后，Hoffmann 等提出 Chinchilla 法则<ref name='chinchilla'>{{cite journal|title=Training Compute-Optimal Large Language Models|author1=Jordan Hoffmann|author2=Sebastian Borgeaud|author3=Arthur Mensch et al| journal=ArXiv|year=2022|volume=abs/2203.15556}}</ref>：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\approx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
随后，Hoffmann 等提出 Chinchilla 法则<ref name='chinchilla'>{{cite journal|title=Training Compute-Optimal Large Language Models|author=Jordan Hoffmann and Sebastian Borgeaud and Arthur Mensch and Elena Buchatskaya and Trevor Cai and Eliza Rutherford and Diego de Las Casas and Lisa Anne Hendricks and Johannes Welbl and Aidan Clark and Tom Hennigan and Eric Noland and Katie Millican and George van den Driessche and Bogdan Damoc and Aurelia Guy and Simon Osindero and Karen Simonyan and Erich Elsen and Jack W. Rae and Oriol Vinyals and L. Sifre|journal=ArXiv|year=2022|volume=abs/2203.15556}}</ref>：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\approx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
除此之外，人们也在大语言模型的推理阶段，以及非语言类大型神经网络中发现了不同形式的规模法则，详细内容可参见<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>.
除此之外，人们也在大语言模型的推理阶段，以及非语言类大型神经网络中发现了不同形式的规模法则，详细内容可参见<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>.