更改

跳到导航 跳到搜索

规模法则 (查看源代码)

2025年12月29日 (一) 10:12的版本

添加495字节 、 2025年12月29日 (一) 10:12
→‎训练阶段的规律
第2,014行： 第2,014行：  
===训练阶段的规律===
 
===训练阶段的规律===
   −
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
+
早期研究（Kaplan 等）表明，训练损失（L）随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。即有如下规模法则：
    
:<math>
 
:<math>
−
N\propto C^{0.73}
+
L\propto N^{-0.076}
 
</math>
 
</math>
 
:<math>
 
:<math>
−
D\propto C^{0.27}
+
L\propto D^{-0.095}
 
</math>
 
</math>
   −
这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
+
这表明，如果保持数据量不变，那么持续地增加参数量；以及如果保持参数量不变，则持续地增加数据量也会引起训练损失误差的持续降低。但是这两个因素彼此之间并不独立。
−
 
  −
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。
  −
 
  −
公式：
  −
 
  −
<nowiki>[math]\displaystyle N_{\text{opt}}(C)\propto C^{0.5},\qquad D_{\text{opt}}(C)\propto C^{0.5}[/math]</nowiki>
      +
如果以模型的计算量为规模变量，则在保持训练损失不变的条件下，有关于参数量和数据量如下的规模法则：
 +
:<math>
 +
N\propto C^{\alpha}
 +
</math>
 +
:<math>
 +
D\propto C^{\beta}
 +
</math>
    +
这里，[math]\alpha\approx 0.73, \beta\approx 0.3[/math]。这里计算量[math]C[/math]作为大模型的规模度量是合理的，这是因为在数据和模型架构得到优化后，计算量是预测最终模型性能最可靠、最根本的约束条件。
   −
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
+
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。经过修整后，上述两个规模法则的幂律指数都更新为[math]\alpha\approx\beta\apprx 0.5[/math]. 这揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长，即保持约 1:1 的平衡，而 Kaplan 早期公式则倾向于更大模型和较少数据，但这一策略被证明会造成训练不足。总体而言，这些关系说明在算力受限时，只有模型规模与数据规模同步扩展，才能使模型达到最优性能；单独增大其中一项都会进入收益递减区间。
    
===推理阶段的规律===
 
===推理阶段的规律===
取自“https://wiki.swarma.org/index.php/特殊:移动版差异/48441”

导航菜单