3,094
个编辑
更改
跳到导航
跳到搜索
第2,186行：
第2,186行： − + − − ===训练阶段的规律=== − − 早期研究（Kaplan 等）表明<ref name="kaplan_2020">{{cite journal|author1=Jared Kaplan|author2=Sam McCandlish|author3=Tom Henighan|author4=Tom B. Brown|author5=Benjamin Chess|author6=Rewon Child|title=Scaling Laws for Neural Language Models|journal=arxiv|year=2020|eprint=2001.08361}}</ref>，测试误差（L）随参数数量（N）、数据量（D）和最优分配的计算量预算（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则： 第2,213行：
第2,209行： − 有趣的是，如果我们将大语言模型视为一个生物体，其体重规模可以用它的参数量来衡量，而喂给它的数据视作该生物体的“新陈代谢”，则上式与[[克莱伯定律]]相似（见{{EquationNote|3}}式）。+ 第2,226行：
第2,222行： − + − − ===推理阶段的规律=== − − 训练完成后，增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升；AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时，解题成功率也持续提高。规律表明：在应用阶段扩充推理计算，可以部分替代模型规模的不足，但收益逐渐递减<ref name=":12" />。 − − ===分段幂律与断裂点=== − − Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。 − − :<math> − y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} − </math> − − 在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。参数[math]f_i[/math]控制着第[math]i[/math]个断裂点的尖锐程度（sharpness），也可以控制各个区间上的规模法则的陡峭程度，比如[math]f_i[/math]越大，这个断裂点就越光滑，[math]f_i[/math]越小，则断裂点越尖锐。 − − ===微调与迁移规律=== − − 在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。 − − :<math> − D_{\text{effective}} \approx K N^{\alpha} D_{\text{finetune}}^{\beta} − </math> − − <nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。[math]K[/math]为规模法则的系数。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。</nowiki> − − ===知识记忆与容量限制=== − − [[大语言模型]]（LLM）的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键<ref name=":12" />。 − − :<math> − I_{\max}\approx 3.6N\ \text{bits} − </math> − − 该公式表明模型的总记忆量[math]I_{\max}[/math]与参数数量[math]N[/math]呈线性关系，且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时，模型会自动转向泛化学习而非记忆具体事实。因此，继续增加数据并不会提升总记忆，只会降低单个样本被精确记住的概率。换言之，模型的记忆空间是有限资源，扩展记忆的唯一方式是增加参数或借助外部知识检索机制。 − − ===参数效率的提升=== − − 除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓的[[密集化法则]]（Densing Law）则指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势 <ref name=":12" />。 − − ===其他扩展方向=== − − 低精度训练可视为减少“有效参数”，其性能损失遵循指数规律<ref name=":12" />： − − :<math> − N_{\text{eff}}(P)=N\bigl(1-e^{-P/\gamma}\bigr) − </math> − − <nowiki>其中 [math]P[/math] 是数值精度的位宽，随着精度提升，有效参数量 [math]N_{\text{eff}}[/math] 按指数方式逼近真实参数数 [math]N[/math]，[math]\gamma[/math]为拟合的指数。这说明低精度训练会以非线性方式损失模型容量，例如使用 FP16 精度时仅约 90% 的参数在发挥作用，而更低精度会进一步削弱性能。</nowiki> − − 此外，多模态任务（如同时处理文本与图像的模型）也遵循类似的幂律关系。以视觉模型为例，其最低错误率与计算量的关系可以近似表示为<ref name=":12" />： − − :<math> − L_{\min}(C)=0.09+\frac{0.26}{(C+0.01)^{0.35}} − </math> − 这表明随着计算量<math>C</math> 的增加，模型的误差率持续下降但趋于饱和，体现了典型的“收益递减”规律，也进一步印证了规模法则的普适性。+
→大语言模型
==大语言模型==
==大语言模型==
大语言模型（LLM）的性能提升与模型规模、训练数据和算力投入密切相关，研究发现它们普遍遵循可预测的规模法则（Scaling Laws），主要包括以下几个方面：
大语言模型（LLM）的性能提升与模型规模、训练数据和算力投入密切相关，研究发现它们普遍遵循可预测的规模法则（Scaling Laws）。早期研究（Kaplan 等）表明<ref name="kaplan_2020">{{cite journal|author1=Jared Kaplan|author2=Sam McCandlish|author3=Tom Henighan|author4=Tom B. Brown|author5=Benjamin Chess|author6=Rewon Child|title=Scaling Laws for Neural Language Models|journal=arxiv|year=2020|eprint=2001.08361}}</ref>，测试误差（L）随参数数量（N）、数据量（D）和最优分配的计算量预算（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
这表明，当参数量受限，在一个充分大的数据集上得到足够的训练，则有测试误差与参数量之间的规模法则（以模型参数量为规模）：
这表明，当参数量受限，在一个充分大的数据集上得到足够的训练，则有测试误差与参数量之间的规模法则（以模型参数量为规模）：
D\propto N^{0.74}
D\propto N^{0.74}
</math>
</math>
有趣的是，如果将大语言模型视为一个生物体，其体重规模可以用它的参数量来衡量，而喂给它的数据视作该生物体的“新陈代谢”，则上式与[[克莱伯定律]]相似（见{{EquationNote|3}}式）。
这里，[math]\alpha\approx 0.73, \beta\approx 0.27[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
这里，[math]\alpha\approx 0.73, \beta\approx 0.27[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\approx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
随后，Hoffmann 等提出 Chinchilla 法则<ref name='chinchilla'>{{cite journal|title=Training Compute-Optimal Large Language Models|author1=Jordan Hoffmann|author2=Sebastian Borgeaud|author3=Arthur Mensch et al.| journal=ArXiv|year=2022|volume=abs/2203.15556}}</ref>：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\approx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
除此之外，人们也在大语言模型的推理阶段，以及非语言类大型神经网络中发现了不同形式的规模法则，详细内容可参见<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>.
=参考文献=
=参考文献=
<references />
<references />