更改

低精度训练可视为减少“有效参数”，其性能损失遵循指数规律<ref name=":12" />：

低精度训练可视为减少“有效参数”，其性能损失遵循指数规律<ref name=":12" />：

<nowiki>[math]\displaystyle N_{\text{eff}}(P)=N\bigl(1-e^{-P/\gamma}\bigr)[/math]</nowiki>

:<math>

N_{\text{eff}}(P)=N\bigl(1-e^{-P/\gamma}\bigr)

</math>

<nowiki>其中 [math]P[/math] 是数值精度的位宽，随着精度提升，有效参数量 [math]N_{\text{eff}}[/math] 按指数方式逼近真实参数数 [math]N[/math]。这说明低精度训练会以非线性方式损失模型容量，例如使用 FP16 精度时仅约 90% 的参数在发挥作用，而更低精度会进一步削弱性能。</nowiki>

其中 [math]P[/math] 是数值精度的位宽，随着精度提升，有效参数量 [math]N_{\text{eff}}[/math] 按指数方式逼近真实参数数 [math]N[/math]，[math]\gamma[/math]为拟合的指数。这说明低精度训练会以非线性方式损失模型容量，例如使用 FP16 精度时仅约 90% 的参数在发挥作用，而更低精度会进一步削弱性能。

此外，多模态任务（如同时处理文本与图像的模型）也遵循类似的幂律关系。以视觉模型为例，其最低错误率与计算量的关系可以近似表示为<ref name=":12" />：

此外，多模态任务（如同时处理文本与图像的模型）也遵循类似的幂律关系。以视觉模型为例，其最低错误率与计算量的关系可以近似表示为<ref name=":12" />：

<nowiki>[math]\displaystyle L_{\min}(C)=0.09+\frac{0.26}{(C+0.01)^{0.35}}[/math]</nowiki>

:<math>

L_{\min}(C)=0.09+\frac{0.26}{(C+0.01)^{0.35}}

</math>

这表明随着计算量 [math]C[/math] 的增加，模型的误差率持续下降但趋于饱和，体现了典型的“收益递减”规律，也进一步印证了规模法则的普适性。

这表明随着计算量<math>C</math> 的增加，模型的误差率持续下降但趋于饱和，体现了典型的“收益递减”规律，也进一步印证了规模法则的普适性。

= 参考文献 =

= 参考文献 =

<references />

<references />