3,094
个编辑
更改
→大语言模型
大语言模型（LLM）的性能提升与模型规模、训练数据和算力投入密切相关，研究发现它们普遍遵循可预测的规模法则（Scaling Laws），主要包括以下几个方面：
大语言模型（LLM）的性能提升与模型规模、训练数据和算力投入密切相关，研究发现它们普遍遵循可预测的规模法则（Scaling Laws），主要包括以下几个方面：
===训练阶段的规律===
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
===推理阶段的规律===
训练完成后，增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升；AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时，解题成功率也持续提高。规律表明：在应用阶段扩充推理计算，可以部分替代模型规模的不足，但收益逐渐递减<ref name=":12" />。
训练完成后，增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升；AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时，解题成功率也持续提高。规律表明：在应用阶段扩充推理计算，可以部分替代模型规模的不足，但收益逐渐递减<ref name=":12" />。
===分段幂律与断裂点===
Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。
Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。
在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。
在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。
===微调与迁移规律===
在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。
在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。
<nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。</nowiki>
<nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。</nowiki>
===知识记忆与容量限制===
LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键<ref name=":12" />。
LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键<ref name=":12" />。
该公式表明模型的总记忆量与参数数量呈线性关系，且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时，模型会自动转向泛化学习而非记忆具体事实。因此，继续增加数据并不会提升总记忆，只会降低单个样本被精确记住的概率。换言之，模型的记忆空间是有限资源，扩展记忆的唯一方式是增加参数或借助外部知识检索机制。
该公式表明模型的总记忆量与参数数量呈线性关系，且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时，模型会自动转向泛化学习而非记忆具体事实。因此，继续增加数据并不会提升总记忆，只会降低单个样本被精确记住的概率。换言之，模型的记忆空间是有限资源，扩展记忆的唯一方式是增加参数或借助外部知识检索机制。
===参数效率的提升===
除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓 Densing Law 指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势 <ref name=":12" />。
除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓 Densing Law 指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势 <ref name=":12" />。
===其他扩展方向===
低精度训练可视为减少“有效参数”，其性能损失遵循指数规律<ref name=":12" />：
低精度训练可视为减少“有效参数”，其性能损失遵循指数规律<ref name=":12" />：