3,094
个编辑
更改
跳到导航
跳到搜索
第2,184行：
第2,184行： − − ==大语言模型== − 大语言模型（LLM）的性能提升与模型规模、训练数据和算力投入密切相关，研究发现它们普遍遵循可预测的规模法则（Scaling Laws）。早期研究（Kaplan 等）表明<ref name="kaplan_2020">{{cite journal|author1=Jared Kaplan|author2=Sam McCandlish|author3=Tom Henighan|author4=Tom B. Brown|author5=Benjamin Chess|author6=Rewon Child|title=Scaling Laws for Neural Language Models|journal=arxiv|year=2020|eprint=2001.08361}}</ref>，测试误差（L）随参数数量（N）、数据量（D）和最优分配的计算量预算（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则： − − 这表明，当参数量受限，在一个充分大的数据集上得到足够的训练，则有测试误差与参数量之间的规模法则（以模型参数量为规模）： − :<math> − L\propto N^{-0.076} − </math> − − 如果数据量受限，训练需要早停，则测试误差与数据量之间存在着规模法则（以数据量为规模）： − :<math> − L\propto D^{-0.095} − </math> − − 当训练过程中的计算量受限，但是数据量充足，在一个最优尺度的模型和一个充分小的批处理尺寸，有如下测试误差与最优计算量之间的规模法则: − :<math> − L\propto C^{-0.05} − </math> − − 这些规模法则让人们看到，在一定条件下，持续地提高参数量或数据量，会让模型的性能持续地改善。因此，[[大模型的规模法则]]成了人们押注更大的模型和更充足的数据量的科学基础。 − − 进一步，当我们训练模型让其达到一定的表现性能的时候（也就是给定测试损失误差[math]L[/math]），我们更关心不同投入（即数据量[math]D[/math]，参数量[math]N[/math]与计算量[math]C[/math]））彼此之间的关系。例如，如果以模型的参数量[math]N[/math]为规模，则在达到一定性能的前提下，数据量会[math]D[/math]与参数量呈现规模法则： − :<math> − D\propto N^{0.74} − </math> − 有趣的是，如果将大语言模型视为一个生物体，其体重规模可以用它的参数量来衡量，而喂给它的数据视作该生物体的“新陈代谢”，则上式与[[克莱伯定律]]相似（见{{EquationNote|3}}式）。 − − − 如果以模型的计算量为规模变量，则在保持训练损失不变的条件下，有关于参数量和数据量如下的规模法则： − :<math> − N\propto C^{\alpha} − </math> − :<math> − D\propto C^{\beta} − </math> − − 这里，[math]\alpha\approx 0.73, \beta\approx 0.27[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。 − − 随后，Hoffmann 等提出 Chinchilla 法则<ref name='chinchilla'>{{cite journal|title=Training Compute-Optimal Large Language Models|author1=Jordan Hoffmann|author2=Sebastian Borgeaud|author3=Arthur Mensch et al.| journal=ArXiv|year=2022|volume=abs/2203.15556}}</ref>：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\approx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。 − − 除此之外，人们也在大语言模型的推理阶段，以及非语言类大型神经网络中发现了不同形式的规模法则，详细内容可参见<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>.
→大语言模型
其中 [math]L[/math] 为系统线性尺度， [math]D[/math] 为雪崩的特征维度（fractal dimension），该式也体现为一种尺度依赖的分布形态（参见6.1.3）。这一标度律表明，不同规模系统的统计行为可以通过合适的归一化函数 [math]f(x)[/math] 统一到同一曲线之上，揭示了临界系统的[[自相似性]]与[[无尺度性]]。
其中 [math]L[/math] 为系统线性尺度， [math]D[/math] 为雪崩的特征维度（fractal dimension），该式也体现为一种尺度依赖的分布形态（参见6.1.3）。这一标度律表明，不同规模系统的统计行为可以通过合适的归一化函数 [math]f(x)[/math] 统一到同一曲线之上，揭示了临界系统的[[自相似性]]与[[无尺度性]]。
=参考文献=
=参考文献=
<references />
<references />