更改

[[文件:Quanta exam.png|无|缩略图|800x800像素|关于知识量子的具体示例]]

[[文件:Quanta exam.png|无|缩略图|800x800像素|关于知识量子的具体示例]]

比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从幂律分布。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。

比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。

那知识量子理论能否用来解释涌现，以及建立起涌现和神经标度律之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值是损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是神经标度律。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。

那知识量子理论能否用来解释涌现，以及建立起涌现和神经标度律之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值是损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是神经标度律。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。