49
个编辑
更改
跳到导航
跳到搜索
第266行：
第266行： − + 第276行：
第276行： − +
→大语言模型
=== 训练阶段的规模法则（Training‑time Scaling Laws） ===
=== 训练阶段的规模法则（Training‑time Scaling Laws） ===
# OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模[math]N[/math]、训练数据量[math]D[/math]和训练计算量[math]C[/math]的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。
# OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。
# <nowiki>“Chinchilla”规模法则：Hoffmann等人发现当时许多大型模型严重训练不足，参数规模远超可用的数据规模。通过对70M～16B参数、5亿～5000亿token的400多个Transformer模型实验，他们提出了计算最优的规模配置：模型参数数量与训练语料长度应当同比例扩增。也就是说，在给定总算力预算下，模型大小和训练token数满足[math]\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }[/math]，[math]\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }[/math]。相比之下，Kaplan等原先的分析得到 [math]\displaystyle{ N\propto C^{0.73} }[/math]、[math]\displaystyle{ D\propto C^{0.27} }[/math]，高估了最优模型规模。据此，Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla（70亿参数，训练token约1.4万亿，是Gopher数据量的4倍）。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如，在MMLU基准上Chinchilla达到67.5%的平均准确率，比Gopher提高了7个百分点。这一成果证实：在固定算力下，与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源，可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则，许多2023年的新模型设计（如LLaMA等）都遵循了参数规模与语料规模平衡的策略。值得注意的是，当数据上限受制时（如领域数据有限），也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。</nowiki>
# <nowiki>“Chinchilla”规模法则：Hoffmann等人发现当时许多大型模型严重训练不足，参数规模远超可用的数据规模。通过对70M～16B参数、5亿～5000亿token的400多个Transformer模型实验，他们提出了计算最优的规模配置：模型参数数量与训练语料长度应当同比例扩增。也就是说，在给定总算力预算下，模型大小和训练token数满足[math]\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }[/math]，[math]\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }[/math]。相比之下，Kaplan等原先的分析得到 [math]\displaystyle{ N\propto C^{0.73} }[/math]、[math]\displaystyle{ D\propto C^{0.27} }[/math]，高估了最优模型规模。据此，Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla（70亿参数，训练token约1.4万亿，是Gopher数据量的4倍）。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如，在MMLU基准上Chinchilla达到67.5%的平均准确率，比Gopher提高了7个百分点。这一成果证实：在固定算力下，与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源，可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则，许多2023年的新模型设计（如LLaMA等）都遵循了参数规模与语料规模平衡的策略。值得注意的是，当数据上限受制时（如领域数据有限），也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。</nowiki>
=== 断裂式规模法则（Broken Neural Scaling Laws, ''BNSL''） ===
=== 断裂式规模法则（Broken Neural Scaling Laws, ''BNSL''） ===
Caballero等人提出“平滑断裂的幂律”（smoothly broken power law）来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降，但大量实证发现，性能提升常随规模出现阶段性拐点，在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象：[math]\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }[/math] 其中 [math]\displaystyle{ x }[/math] 是规模因子（如参数N、数据D或计算量C），[math]\displaystyle{ y }[/math] 是对应的性能指标（如预测误差或奖励）。这一公式由若干段幂律曲线通过光滑的过渡相连：在远小于"断点" [math]\displaystyle{ d_i }[/math] 的区域，[math]\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }[/math]，第 [math]\displaystyle{ i }[/math] 段项近似为1，不影响整体指数；当 [math]\displaystyle{ x }[/math] 接近或超过某个 [math]\displaystyle{ d_i }[/math] 时，该项逐渐发挥作用，将总体幂指数从 [math]\displaystyle{ c_0 }[/math] 平滑地改变为 [math]\displaystyle{ c_0+c_i }[/math]。在对数-对数坐标系中，这表现为折线般的多段斜率，用**"break"（断点）标志幂律指数的改变。因此相较单一幂律模型，BNSL能拟合"分段直线+过渡弧"**的性能曲线。
Caballero等人提出“平滑断裂的幂律”（smoothly broken power law）来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降，但大量实证发现，性能提升常随规模出现阶段性拐点，在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象：[math]\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }[/math] 其中 [math]\displaystyle{ x }[/math] 是规模因子（如参数N、数据D或计算量C），[math]\displaystyle{ y }[/math] 是对应的性能指标（如预测误差或奖励）。这一公式由若干段幂律曲线通过光滑的过渡相连：在远"断点" [math]\displaystyle{ d_i }[/math] 的区域，[math]\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }[/math]，第 [math]\displaystyle{ i }[/math] 段项近似为1，不影响整体指数；当 [math]\displaystyle{ x }[/math] 接近或超过某个 [math]\displaystyle{ d_i }[/math] 时，该项逐渐发挥作用，将总体幂指数从 [math]\displaystyle{ c_0 }[/math] 平滑地改变为 [math]\displaystyle{ c_0+c_i }[/math]。在对数-对数坐标系中，这表现为折线般的多段斜率，用"break"（断点）标志幂律指数的改变。因此相较单一幂律模型，BNSL能拟合"分段直线+过渡弧"的性能曲线。
实验上，他们发现广泛的场景都符合这一断裂式规律，包括：大规模视觉模型、语言模型、音频和视频模型，扩散生成模型，多模态融合模型，对比学习模型，迁移学习，强化学习（单智能体和多智能体）、出圈泛化（OOD）、不确定度校准、提示范式（zero-shot/prompt）下的性能，甚至AI对齐和能力涌现等现象。例如，有些任务在小模型阶段提升很快（陡峭幂律），但达到中等规模后提升速率显著下降（幂指数变小），再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画，每个线段对应不同的机制或瓶颈主导阶段。总的来说，断裂式规模法则揭示了非单调的扩展效益：性能随规模增长并非始终遵循同一速率，而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果，需要考虑潜在的拐点和段内规律。
实验上，他们发现广泛的场景都符合这一断裂式规律，包括：大规模视觉模型、语言模型、音频和视频模型，扩散生成模型，多模态融合模型，对比学习模型，迁移学习，强化学习（单智能体和多智能体）、出圈泛化（OOD）、不确定度校准、提示范式（zero-shot/prompt）下的性能，甚至AI对齐和能力涌现等现象。例如，有些任务在小模型阶段提升很快（陡峭幂律），但达到中等规模后提升速率显著下降（幂指数变小），再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画，每个线段对应不同的机制或瓶颈主导阶段。总的来说，断裂式规模法则揭示了非单调的扩展效益：性能随规模增长并非始终遵循同一速率，而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果，需要考虑潜在的拐点和段内规律。