更改

Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。

Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。

[mathy = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math]

[math]y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math]

在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。参数[math]f_i[/math]控制着第[math]i[/math]个断裂点的尖锐程度（sharpness），也可以控制各个区间上的规模法则的陡峭程度，比如[math]f_i[/math]越大，这个断裂点就越光滑，[math]f_i[/math]越小，则断裂点越尖锐。

在这个公式中，[math]x[/math] 代表规模因子（如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]），[math]y[/math] 是性能指标（如误差或奖励），而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时，模型的性能提升速率（幂律指数）会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线，而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导，从而出现“快速提升—停滞—再加速”的周期性特征。参数[math]f_i[/math]控制着第[math]i[/math]个断裂点的尖锐程度（sharpness），也可以控制各个区间上的规模法则的陡峭程度，比如[math]f_i[/math]越大，这个断裂点就越光滑，[math]f_i[/math]越小，则断裂点越尖锐。