49
个编辑
更改
跳到导航
跳到搜索
第1,383行：
第1,383行： + + + + + + + + 第1,390行：
第1,398行： − + + + + + − 在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势。<ref name=":12" />+ + + + + − + + + + + 第1,406行：
第1,426行： − 低精度训练：降低权重/激活精度可视为减少“有效参数”，其性能损失符合指数规律。<ref name=":12" />+ + + + + + + + + − 多模态任务：无论是文本、图像还是跨模态模型，扩展规模带来的性能提升同样遵循幂律，验证了规模法则的普适性。<ref name=":12" />+
→大语言模型
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。
公式：
<nowiki>[math]\displaystyle N_{\text{opt}}(C)\propto C^{0.5},\qquad D_{\text{opt}}(C)\propto C^{0.5}[/math] </nowiki><ref name=":12" />
[math]\displaystyle N\propto C^{0.73},\qquad D\propto C^{0.27}[/math] <ref name=":12" />
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
'''2. 推理阶段的规律'''
'''2. 推理阶段的规律'''
'''3. 分段幂律与断裂点'''
'''3. 分段幂律与断裂点'''
Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速。<ref name=":12" />
Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。
[math]\displaystyle y = a + (b,x^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math] <ref name=":12" />
在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。
'''4. 微调与迁移规律'''
'''4. 微调与迁移规律'''
在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。
<nowiki>[math]\displaystyle D_{\text{effective}} \approx K, N^{\alpha}, D_{\text{finetune}}^{\beta}[/math] </nowiki><ref name=":12" />
<nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。</nowiki>
'''5. 知识记忆与容量限制'''
'''5. 知识记忆与容量限制'''
LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键。<ref name=":12" />
LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键。
[math]\displaystyle I_{\max}\approx 3.6,N\ \text{bits}[/math] <ref name=":12" />
该公式表明模型的总记忆量与参数数量呈线性关系，且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时，模型会自动转向泛化学习而非记忆具体事实。因此，继续增加数据并不会提升总记忆，只会降低单个样本被精确记住的概率。换言之，模型的记忆空间是有限资源，扩展记忆的唯一方式是增加参数或借助外部知识检索机制。
'''6. 参数效率的提升'''
'''6. 参数效率的提升'''
'''7. 其他扩展方向'''
'''7. 其他扩展方向'''
低精度训练可视为减少“有效参数”，其性能损失遵循指数规律：
<nowiki>[math]\displaystyle N_{\text{eff}}(P)=N\bigl(1-e^{-P/\gamma}\bigr)[/math] </nowiki><ref name=":12" />
<nowiki>其中 [math]P[/math] 是数值精度的位宽，随着精度提升，有效参数量 [math]N_{\text{eff}}[/math] 按指数方式逼近真实参数数 [math]N[/math]。这说明低精度训练会以非线性方式损失模型容量，例如使用 FP16 精度时仅约 90% 的参数在发挥作用，而更低精度会进一步削弱性能。</nowiki>
此外，多模态任务（如同时处理文本与图像的模型）也遵循类似的幂律关系。以视觉模型为例，其最低错误率与计算量的关系可以近似表示为：
<nowiki>[math]\displaystyle L_{\min}(C)=0.09+\frac{0.26}{(C+0.01)^{0.35}}[/math] </nowiki><ref name=":12" />
这表明随着计算量 [math]C[/math] 的增加，模型的误差率持续下降但趋于饱和，体现了典型的“收益递减”规律，也进一步印证了规模法则的普适性。
= 参考文献 =
= 参考文献 =
<references />
<references />