3,094
个编辑
更改
→临界态
通过调整参数 [math]\lambda[/math] 和 [math]p[/math]，模型可以产生不同的幂指数。因此，我们也可从观测数据之中的幂指数反推这两个参数值，以反映真实用户的兴趣跨度与内容生成倾向。该模型揭示了虚拟空间中人类行为的几何起源，为理解在线社区的增长、推荐机制与注意力流的分布提供了一种理论解释。
通过调整参数 [math]\lambda[/math] 和 [math]p[/math]，模型可以产生不同的幂指数。因此，我们也可从观测数据之中的幂指数反推这两个参数值，以反映真实用户的兴趣跨度与内容生成倾向。该模型揭示了虚拟空间中人类行为的几何起源，为理解在线社区的增长、推荐机制与注意力流的分布提供了一种理论解释。
==大语言模型==
大语言模型（LLM）的性能提升与模型规模、训练数据和算力投入密切相关，研究发现它们普遍遵循可预测的规模法则（Scaling Laws）。早期研究（Kaplan 等）表明<ref name="kaplan_2020">{{cite journal|author1=Jared Kaplan|author2=Sam McCandlish|author3=Tom Henighan|author4=Tom B. Brown|author5=Benjamin Chess|author6=Rewon Child|title=Scaling Laws for Neural Language Models|journal=arxiv|year=2020|eprint=2001.08361}}</ref>，测试误差（L）随参数数量（N）、数据量（D）和最优分配的计算量预算（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
这表明，当参数量受限，在一个充分大的数据集上得到足够的训练，则有测试误差与参数量之间的规模法则（以模型参数量为规模）：
:<math>
L\propto N^{-0.076}
</math>
如果数据量受限，训练需要早停，则测试误差与数据量之间存在着规模法则（以数据量为规模）：
:<math>
L\propto D^{-0.095}
</math>
当训练过程中的计算量受限，但是数据量充足，在一个最优尺度的模型和一个充分小的批处理尺寸，有如下测试误差与最优计算量之间的规模法则:
:<math>
L\propto C^{-0.05}
</math>
这些规模法则让人们看到，在一定条件下，持续地提高参数量或数据量，会让模型的性能持续地改善。因此，[[大模型的规模法则]]成了人们押注更大的模型和更充足的数据量的科学基础。
进一步，当我们训练模型让其达到一定的表现性能的时候（也就是给定测试损失误差[math]L[/math]），我们更关心不同投入（即数据量[math]D[/math]，参数量[math]N[/math]与计算量[math]C[/math]））彼此之间的关系。例如，如果以模型的参数量[math]N[/math]为规模，则在达到一定性能的前提下，数据量会[math]D[/math]与参数量呈现规模法则：
:<math>
D\propto N^{0.74}
</math>
有趣的是，如果将大语言模型视为一个生物体，其体重规模可以用它的参数量来衡量，而喂给它的数据视作该生物体的“新陈代谢”，则上式与[[克莱伯定律]]相似（见{{EquationNote|3}}式）。
如果以模型的计算量为规模变量，则在保持训练损失不变的条件下，有关于参数量和数据量如下的规模法则：
:<math>
N\propto C^{\alpha}
</math>
:<math>
D\propto C^{\beta}
</math>
这里，[math]\alpha\approx 0.73, \beta\approx 0.27[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
随后，Hoffmann 等提出 Chinchilla 法则<ref name='chinchilla'>{{cite journal|title=Training Compute-Optimal Large Language Models|author1=Jordan Hoffmann|author2=Sebastian Borgeaud|author3=Arthur Mensch et al| journal=ArXiv|year=2022|volume=abs/2203.15556}}</ref>：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\approx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
除此之外，人们也在大语言模型的推理阶段，以及非语言类大型神经网络中发现了不同形式的规模法则，详细内容可参见<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>.
==临界态==
==临界态==