3,094
个编辑
更改
跳到导航
跳到搜索
第2,014行：
第2,014行： − + + + + − 这表明，如果保持数据量不变，那么持续地增加参数量；以及如果保持参数量不变，则持续地增加数据量也会引起训练损失误差的持续降低。但是这两个因素彼此之间并不独立。+ + + + + + + + + + + + +
→训练阶段的规律
===训练阶段的规律===
===训练阶段的规律===
早期研究（Kaplan 等）表明<ref name='kaplan_2020'>{{cite journal|author1=Jared Kaplan|author2=Sam McCandlish|author3=Tom Henighan|author4=Tom B. Brown|author5=Benjamin Chess|author6=Rewon Child|title=Scaling Laws for Neural Language Models|journal=arxiv|year=2020|eprint=2001.08361}}</ref>，训练损失（L）随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
早期研究（Kaplan 等）表明<ref name='kaplan_2020'>{{cite journal|author1=Jared Kaplan|author2=Sam McCandlish|author3=Tom Henighan|author4=Tom B. Brown|author5=Benjamin Chess|author6=Rewon Child|title=Scaling Laws for Neural Language Models|journal=arxiv|year=2020|eprint=2001.08361}}</ref>，测试误差（L）随参数数量（N）、数据量（D）和最优分配的计算量预算（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
这表明，当参数量受限，在一个充分大的数据集上得到足够的训练，则有测试误差与参数量之间的规模法则（以模型参数量为规模）：
:<math>
:<math>
L\propto N^{-0.076}
L\propto N^{-0.076}
</math>
</math>
如果数据量受限，训练需要早停，则测试误差与数据量之间存在着规模法则（以数据量为规模）：
:<math>
:<math>
L\propto D^{-0.095}
L\propto D^{-0.095}
</math>
</math>
当训练过程中的计算量受限，但是数据量充足，在一个最优尺度的模型和一个充分小的批处理尺寸，有如下测试误差与最优计算量之间的规模法则:
:<math>
L\propto C^{-0.05}
</math>
这些规模法则让人们看到，在一定条件下，持续地提高参数量或数据量，会让模型的性能持续地改善。因此，[[大模型的规模法则]]成了人们押注更大的模型和更充足的数据量的科学基础。
进一步，当我们训练模型让其达到一定的表现性能的时候（也就是给定测试损失误差[math]L[/math]），我们更关心不同投入（即数据量[math]D[/math]，参数量[math]N[/math]与计算量[math]C[/math]））彼此之间的关系。例如，如果以模型的参数量[math]N[/math]为规模，则在达到一定性能的前提下，数据量会[math]D[/math]与参数量呈现规模法则：
:<math>
D\propto N^{0.74}
</math>
有趣的是，如果我们将大语言模型视为一个生物体，其体重规模可以用它的参数量来衡量，而喂给它的数据视作该生物体的“新陈代谢”，则上式与[[克莱伯定律]]相似（见{{EquationNote|3}}式）。
如果以模型的计算量为规模变量，则在保持训练损失不变的条件下，有关于参数量和数据量如下的规模法则：
如果以模型的计算量为规模变量，则在保持训练损失不变的条件下，有关于参数量和数据量如下的规模法则：