5,443
个编辑
更改
→其他规模法则
大型语言模型的性能，通常以交叉熵损失（cross-entropy loss）来衡量，会随着模型大小、数据集大小以及用于训练的计算量的增加而呈现幂律形式的改善 。具体而言，当其他因素不成瓶颈时，损失L与这三个因素的关系可以表示为：L∝N−αN，L∝D−αD，L∝C−αC。这些幂律关系可以跨越多个数量级，使得性能的提升在一定程度上是可预测的。
大型语言模型的性能，通常以交叉熵损失（cross-entropy loss）来衡量，会随着模型大小、数据集大小以及用于训练的计算量的增加而呈现幂律形式的改善 。具体而言，当其他因素不成瓶颈时，损失L与这三个因素的关系可以表示为：L∝N−αN，L∝D−αD，L∝C−αC。这些幂律关系可以跨越多个数量级，使得性能的提升在一定程度上是可预测的。
=== AI的演化 ===
=== AI的演化 ===