5,443
个编辑
更改
无编辑摘要
=== 大语言模型 ===
=== 大语言模型 ===
近年来，大型语言模型（LLMs）的快速发展揭示了其性能与规模之间也存在着可预测的规模法则。
* '''性能与模型规模(参数N)、数据集规模(D)、计算资源(C)的规模关系'''
大型语言模型的性能，通常以交叉熵损失（cross-entropy loss）来衡量，会随着模型大小、数据集大小以及用于训练的计算量的增加而呈现幂律形式的改善 。具体而言，当其他因素不成瓶颈时，损失L与这三个因素的关系可以表示为：L∝N−αN，L∝D−αD，L∝C−αC。这些幂律关系可以跨越多个数量级，使得性能的提升在一定程度上是可预测的。
* '''幂律关系与可预测性'''
这种幂律关系的一致性使得研究人员能够预测模型的性能。在对数-对数坐标图上，损失与 N、D 或 C 的关系呈现为直线，其斜率即为规模指数。这种可预测性对于指导大型语言模型的研发和资源投入至关重要，例如可以估算将模型参数或数据集大小加倍所能带来的性能提升。
=== AI的演化 ===
=== AI的演化 ===
== 参考文献 ==
https://ar5iv.labs.arxiv.org/html/2001.08361
https://arxiv.org/html/2503.04715v1