更改

Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。

Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。

[math]\displaystyle y = a + (b,x^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math]

[math]\displaystyle y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math]

在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。

在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。