更改

===训练阶段的规模法则（Training‑time Scaling Laws）===

===训练阶段的规模法则（Training‑time Scaling Laws）===

#OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。

#OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。