大语言模型的规模法则

训练阶段的规模法则（Training‑time Scaling Laws）

OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。
“Chinchilla”规模法则：Hoffmann等人发现当时许多大型模型严重训练不足，参数规模远超可用的数据规模。通过对70M～16B参数、5亿～5000亿token的400多个Transformer模型实验，他们提出了计算最优的规模配置：模型参数数量与训练语料长度应当同比例扩增。也就是说，在给定总算力预算下，模型大小和训练token数满足[math]\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }[/math]，[math]\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }[/math]。相比之下，Kaplan等原先的分析得到 [math]\displaystyle{ N\propto C^{0.73} }[/math]、[math]\displaystyle{ D\propto C^{0.27} }[/math]，高估了最优模型规模。据此，Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla（70亿参数，训练token约1.4万亿，是Gopher数据量的4倍）。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如，在MMLU基准上Chinchilla达到67.5%的平均准确率，比Gopher提高了7个百分点。这一成果证实：在固定算力下，与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源，可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则，许多2023年的新模型设计（如LLaMA等）都遵循了参数规模与语料规模平衡的策略。值得注意的是，当数据上限受制时（如领域数据有限），也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。

推理阶段的规模法则（Post-training & Inference-time Scaling）

训练完成后，在模型推理和应用阶段增加计算量也体现出规模效应。例如，让模型“思考更久”（更多推理步骤或搜索次数）往往能提升性能，这被视为推理时的规模规律：

搜索推理：DeepMind的AlphaGo/AlphaZero等展示了测试时计算扩展的威力。AlphaGo的棋力（Elo等级分）随着其每步允许的蒙特卡洛树搜索(MCTS)模拟次数的增加而稳步提升。在AlphaGo Zero中，增加约2倍的搜索预算即可提高约120点Elo，相当于将模型参数和训练翻倍所带来的提升幅度。也就是说，在一定范围内，“2倍推理计算 ≈ 2倍模型规模”对最终性能的贡献是类似的。这体现了一种推理-训练可交换的缩放规律：通过增加部署时的搜索深度，可以在不增加模型复杂度的情况下获得类似效果的性能增益。进一步，在棋类或博弈中可以发现训练与推理的此类折中关系：例如在Hex棋游戏中，增加10倍训练计算量大致相当于增加15倍推理搜索量；在扑克AI Libratus、外交游戏AI Cicero等复杂不完美信息博弈中，加入大规模对局搜索同样显著提高了胜率，其效果与成百上千倍的额外训练相仿。这些案例说明，在博弈决策领域存在明确的推理计算缩放定律：持续增大推理搜索计算呈现对数线性的收益递增，但性价比逐渐下降。
生成式模型（代码合成与问题求解）：大语言模型在推理阶段通过多样采样、程序搜索等也展现幂律提升。DeepMind的AlphaCode在算法编程挑战中引入了候选生成+测试的扩展推理策略，结果模型随生成候选程序数量（即推理搜索时间）的增加，解决问题的成功率近似呈对数线性上升。换言之，给定一个固定规模的模型，让它尝试越多方案，其性能提升遵循平滑的幂律趋势。类似地，OpenAI的代码生成模型Codex和后续的GPT-4等，在增加采样次数、增加思考步骤（如Chain-of-Thought连贯推理）时，问题解答准确率持续提高。2024年OpenAI发布的o1报告也总结，大模型在数学推理、科学问答、代码调试等场景中，无论通过扩展训练 compute 还是推理 compute，性能都会一致地提升，并给出了多个推理扩展提升性能的例证。总的来说，在推理/部署阶段扩充计算（如更长的推理链、更大的搜索广度或更多函数调用）是一条独立于模型参数的提升途径。这被形式化为推理规模定律：模型性能 [math]\displaystyle{ f }[/math] 随推理计算量 [math]\displaystyle{ C_{test} }[/math] 增加而改进，并往往呈现出次幂指数递减的曲线，即开始阶段收益显著，逐步趋于饱和。实际意义是，在应用中可以通过增加推理计算来换取性能（如用思维链、多轮推理弥补模型规模不足），二者存在可预测的折中关系。

断裂式规模法则（Broken Neural Scaling Laws, BNSL）

Caballero等人提出“平滑断裂的幂律”（smoothly broken power law）来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降，但大量实证发现，性能提升常随规模出现阶段性拐点，在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象：[math]\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }[/math] 其中 [math]\displaystyle{ x }[/math] 是规模因子（如参数N、数据D或计算量C），[math]\displaystyle{ y }[/math] 是对应的性能指标（如预测误差或奖励）。这一公式由若干段幂律曲线通过光滑的过渡相连：在远"断点" [math]\displaystyle{ d_i }[/math] 的区域，[math]\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }[/math]，第 [math]\displaystyle{ i }[/math] 段项近似为1，不影响整体指数；当 [math]\displaystyle{ x }[/math] 接近或超过某个 [math]\displaystyle{ d_i }[/math] 时，该项逐渐发挥作用，将总体幂指数从 [math]\displaystyle{ c_0 }[/math] 平滑地改变为 [math]\displaystyle{ c_0+c_i }[/math]。在对数-对数坐标系中，这表现为折线般的多段斜率，用"break"（断点）标志幂律指数的改变。因此相较单一幂律模型，BNSL能拟合"分段直线+过渡弧"的性能曲线。

实验上，他们发现广泛的场景都符合这一断裂式规律，包括：大规模视觉模型、语言模型、音频和视频模型，扩散生成模型，多模态融合模型，对比学习模型，迁移学习，强化学习（单智能体和多智能体）、出圈泛化（OOD）、不确定度校准、提示范式（zero-shot/prompt）下的性能，甚至AI对齐和能力涌现等现象。例如，有些任务在小模型阶段提升很快（陡峭幂律），但达到中等规模后提升速率显著下降（幂指数变小），再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画，每个线段对应不同的机制或瓶颈主导阶段。总的来说，断裂式规模法则揭示了非单调的扩展效益：性能随规模增长并非始终遵循同一速率，而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果，需要考虑潜在的拐点和段内规律。

微调阶段的规模法则（Finetuning Scaling Laws）

大模型预训练完毕后，在下游任务上微调同样存在可预测的缩放行为。典型研究关注：给定预训练模型规模，微调数据集大小如何影响下游性能，以及初始模型规模与所需微调数据的关系：

Hernandez等人研究了无监督预训练模型在新分布上的迁移缩放规律。他们比较了两种情形：（a）从头在目标数据集上训练不同大小的模型，（b）先用海量通用语料预训练模型，再微调相同的数据。结果发现，大模型在固定的小数据集上从头训练会很快进入数据饱和，损失不再显著下降；而经过预训练的模型微调时，虽然数据有限但性能提升的斜率仅是减小而非归零。也就是说，预训练赋予模型一定的通用能力，使其在低数据下仍能持续改进。为量化预训练贡献，Hernandez等人定义了“等效转移数据”指标：即观测微调后某模型达到的损失，假设没有预训练、仅靠该模型从零训练，需要多少目标数据才能达到同样损失。他们发现，在低数据微调（目标数据不到满足无限数据性能的10%）的情况下，这个等效数据量与模型参数数和微调数据量呈幂律关系：

[math]\displaystyle{ D_{\text{effective}} \approx K \times N^{\alpha} D_{\text{finetune}}^{\beta} }[/math]

其中 [math]\displaystyle{ N }[/math] 为预训练模型参数，[math]\displaystyle{ D_{\text{finetune}} }[/math]为微调数据量，[math]\displaystyle{ \alpha,\beta }[/math]为对应的幂指数。[math]\displaystyle{ \alpha }[/math]可理解为模型的一般性指标，[math]\displaystyle{ \beta }[/math]反映目标分布相对预训练分布的距离。实证结果显示：预训练相当于将微调数据量放大了一个倍数（例如对40M参数的Transformer在Python代码上的微调，3e5字符相当于从头训练需要3e8字符，即预训练起到了1000倍数据的效果）。这种转移增益随着微调数据的减少而变得更加显著：数据越少，预训练带来的等效数据放大倍数越大。结论是，下游任务的性能可以用参数、微调数据和算力三要素的幂律来预测，和总体性能的缩放类似。这解释了为何更大的预训练模型在小数据任务上表现更佳——它们相当于提供了更多"虚拟样本"。这一规律也指导实践：面对数据稀缺任务，使用更大的预训练模型往往比增加数据更有效；反之，若下游数据充足，小模型通过更多数据也可弥补一部分差距。此外，Gordon等人研究发现在机器翻译等场景也验证了类似的参数-数据缩放律，并探讨了模型初始规模与微调效果的关系，如模型越大，微调曲线越陡峭、上限越高。

记忆事实的规模法则（Fact-memorization Scaling Laws）

大模型在训练语料中记忆事实知识（如百科知识、三元组关系）的能力如何随规模和训练过程变化？近期研究给出了定量分析：

Lu等人对这项工作专门测量了LLM对原始事实（三元组知识）的记忆容量随模型大小和训练时间的缩放规律。作者定义“事实容量”为模型能无误记忆的最大事实条目数量，并使用Wikidata知识库构建评测（键-属性-值三元组形式的原子事实）。实验发现，在相同训练epoch下，模型的事实容量几乎正比于参数规模：参数数量越大，能记住的不同事实就越多，表现为容量随N线性增长。另一方面，增加训练epoch对记忆容量的提升呈饱和趋势：最初几个epoch容量增长明显，但之后趋于平稳，符合负指数衰减的规律。也就是说，训练轮数增加对新事实的记忆收益递减，长期来看容量接近于一个上限。根据拟合的规模公式，若想在100轮训练内让模型记住Wikidata中全部约1.5亿条事实三元组，大致需要一个1000B（千亿）非嵌入参数规模的模型。这一数量级远超当前模型，表明靠参数记忆所有公共知识在通用预训练中几乎不可能实现。因此该研究建议应结合检索等外部知识，以弥补参数记忆能力的不足。除了总体容量，他们还考察了模型对不同类型事实的记忆行为：发现模型难以用统一方式兼容存储冗余表述的事实，除非它们在训练中以相同方向和句式出现；模型更偏好记忆高频和难度大的事实，而对低频事实的记忆容易被后续训练的新事实覆盖干扰。这些现象反映出LLM记忆的非高效性：对于重复知识没有自动压缩归纳，后学习的内容可能覆盖先前学到的细节。上述发现阐明了LLM记忆内部的容量限制和特性：纯靠增大模型或训练轮数，记忆能力存在天花板和不均衡，需借助混合技术提升可靠性。
Morris等人，来自Meta/Google等的最新合作研究，从信息论角度度量了LLM的记忆容量上限。他们通过让模型在随机比特串数据集上训练，剥除了任何可泛化模式，以纯粹考察模型能记住所含信息的多少。结果估计：GPT系列模型每个参数大约只能记忆3.6比特的信息。换言之，一个100亿参数的模型其权重所能硬记的总信息量在几十亿比特量级（约几百MB）。这一容量密度在不同模型规模、深度、精度下几乎是定值（全精度模型略高，可达3.83 bits/param）。更有意思的是，他们发现增加训练数据并不会提高模型总记忆容量，反而模型会将固定的容量分配到更多样本上，使单个样本被记住的概率降低。也就是说，模型有一个固定的“记忆槽”，训练数据越多，这个槽在每条数据上的分摊就越少。当数据规模远超模型容量时，模型被迫转向泛化模式来最小化损失，反而减少了逐字记忆（这一现象与之前观察到的“双重下降”（double descent）相符，当数据量超过模型记忆阈值时，训练损失曲线会二次上升然后下降，显示模型从纯记忆过渡到泛化）。因此，他们将模型的总记忆量视为一种固定资源：若想提升模型记忆库，主要途径是增加参数而非无限扩充训练集。这一研究在理论上支持了Lu等对事实记忆饱和的担忧，并提出了新视角的指标（bits per parameter）来衡量模型存储知识的效率上界。对于隐私和版权方面，它也意味着大型模型并不会简单地因为读入更多版权数据就机械记住更多内容，每个参数能容纳的信息量有限且随着数据增多而被冲淡。总之，大模型对训练语料的记忆遵循一定的规模规律和上限：存在容量饱和和单位参数收益递减，这提示我们需要在记忆与泛化间权衡，并借助更大模型或外部知识库来突破单模型的记忆极限。

参数密度时间法则（Densing Law）

通常提到的Scaling Law是横向比较不同规模模型的性能，本节讨论的是纵向随时间的演进：随着研究进展，同样规模的模型效果在提升。这被称为参数密度-时间法则，或“Densing Law”。

Xiao等人对这项工作引入了“容量密度”的新度量来衡量不同时期模型的效率提升。他们选取一系列参考基准模型，通过Scaling Law预测这些参考模型在不同参数规模下的性能曲线，然后定义任意目标模型的“有效参数量”：即让参考模型达到目标模型同等性能所需的参数规模。目标模型的容量密度则定义为其有效参数量与其实际参数量之比。直观地说，容量密度越高，表示模型“越高效”——用较少参数实现了其它模型更多参数才能达到的性能。分析近年开放的基础LLM（如GPT、LLaMA等）发现，模型的容量密度随时间呈指数级提升。具体而言，在若干通用基准上的拟合显示：容量密度大约每3个月翻一倍。也就是说，业界每季度左右就涌现出新模型，将单位参数的性能推进到新的水平。这一定律被称为“Densing”（意为变得更密集），揭示大模型并非简单地通过增加参数在变强，而且每个参数的含义变得更“有用”。例如，根据这一经验趋势，可以预期约一年半（18个月）后问世的新模型，即使参数规模只有当前顶尖模型的几十分之一，其性能可能相当于当今参数百亿级模型。正如摩尔定律之于硬件，Densing Law刻画了AI模型效率的提升轨迹。论文指出，这反映了算法、架构、训练方法和数据质量的持续改进：新模型通过更好的设计“榨取”了每个参数更多的能力。因此，未来LLM的发展不光在于绝对规模膨胀，也在于提高容量密度——让较小模型达到过去大模型才能企及的效果。这一规律对模型部署很有意义：如果趋势继续，一段时间后小模型就能完成当前大模型的任务，从而降低推理成本。这也提示研究重点应放在提升参数效率，如更好的训练损失、更优秀的优化和架构，以延续这种指数提升的势头。

其他方向的规模规律

低精度训练的缩放规律：Kumar等人在2024年研究了训练中数值精度对规模法则的影响。他们训练了一系列Transformer语言模型，分别使用不同位宽（如FP32、FP16、Int8等）来表示权重、激活和KV缓存，并测量精度变化对损失的影响。结果表明，可以通过引入"有效参数数量"的概念，将数值精度的影响纳入规模定律的框架中。具体做法是定义 [math]\displaystyle{ N_{\text{eff}}(P) = N\big(1 - e^{-P/\gamma}\big) }[/math]，其中 [math]\displaystyle{ N }[/math] 为实际参数数，[math]\displaystyle{ P }[/math]为有效精度位数，[math]\displaystyle{ \gamma }[/math]是拟合常数。这个公式表示，用低 [math]\displaystyle{ P }[/math] 位精度训练时，模型的有效参数量低于实际参数——好似只有 [math]\displaystyle{ N_{\text{eff}} }[/math] 个高精度参数在发挥作用。随着精度 [math]\displaystyle{ P }[/math] 增加，[math]\displaystyle{ N_{\text{eff}} }[/math] 按指数逼近 [math]\displaystyle{ N }[/math]（精度无限高时恢复全性能）。该规律揭示：降低训练精度会以指数速度损耗模型容量，每减少一位精度，模型可表达的信息量并非线性降低，而是按 [math]\displaystyle{ e^{-1/\gamma} }[/math] 比例缩水。实验中，低精度训练的模型相当于有效参数变少，因此最终损失变高。例如，用FP16训练可能相当于只有~90%的参数在发挥作用；用Int8再降低则有效容量进一步损失。这一定量关系有助于指导实践：在接受些微性能损失的情况下，可用低精度来换取内存和算力优势，同时通过公式评估损失幅度是否可接受。研究还区分了训练精度和推理精度：他们发现，如果在高精度下完成训练，再用极低精度推理，模型在过度训练（远超收敛）的情况下对推理精度降低更具鲁莽性。总之，精度缩放规律将模型容量视为精度的函数，表明低精度带来的性能下降可以被视作模型有效规模减小的一种表现，其关系遵循可预测的指数规律。
多模态任务的规模规律：越来越多证据表明，多模态模型（同时处理文本、图像、音频等的模型）也遵循类似的缩放法则。Apple团队的研究提出"原生多模态模型"的Scaling Laws假设，并通过实验验证：这类不依赖预训练单模态编码器、从零同时训练多模态输入的模型，其缩放行为与纯文本LLM相似。具体而言，在给定算力下，多模态模型的验证集损失同样随总计算量 [math]\displaystyle{ C }[/math] 近似按幂律降低；而参数数与训练样本数仍需保持大致1:1的平衡扩展才能最优利用算力，这与Chinchilla法则在多模态环境中再次得到呼应。不同模态的数据对幂律指数有所影响，比如图像数据可能使最优参数-数据比发生轻微偏移，但总体趋势不变。他们的实验还比较了多模态融合的不同架构，发现无论是早期融合（直接将视觉token和文本token一起喂入Transformer）还是晚期融合（分别编码后再合并），当规模增加时两者的性能提升曲线基本重合。这进一步印证了多模态模型的性能扩展主要受总参数和总数据驱动，与单模态情况遵循同类规律，而不是取决于特定融合策略。此外，在计算机视觉领域，Dosovitskiy等关于Vision Transformer (ViT) 的工作早在2021年就表明：图像分类误差随模型尺寸和数据规模扩展也呈良好的幂律形态。比如Zhai等在TPUv3集群上训练ViT得出：ImageNet上的最低错误率 [math]\displaystyle{ L_{\min} }[/math] 可用公式 [math]\displaystyle{ 0.09 + \frac{0.26}{(C+0.01)^{0.35}} }[/math] 拟合（其中 [math]\displaystyle{ C }[/math] 是以TPU天为单位的计算量），显示随着计算增加错误率平滑逼近于0.09的不可约误差。这一指数规律与语言模型十分类似（只是指数和常数不同）。再如OpenAI的CLIP模型在跨模态对比学习中，其图文匹配精度也随着模型和数据扩大而提升，且当数据足够多时，小模型与大模型的差距减小，符合典型的缩放曲线。总的来说，无论是语言、视觉，还是多模态联合任务，规模扩展带来的性能提升都服从相近的数学规律。虽然不同领域的具体幂指数、阻塞项可能有差异，但"更大更好，且收益递减"是通用趋势。值得一提的是，一些最新研究开始探索打破常规幂的方法，例如通过提高数据质量、数据多样性来实现优于同等数量数据的效果，从而在某些场景下达到"超_Chinchilla_"或突破既有指数的表现。但这些改进依然需要在标准Scaling Laws框架下衡量增益，看是否改变了幂律指数或者扩展了线性段长度。总体而言，多模态和特殊训练策略并未推翻规模法则，反而延展了其适用范围和内涵：规模仍然是驱动AI性能的核心因素之一，其影响可以被刻画和预测，只是在不同情境下呈现出丰富的阶段性和细微差异。