更改

也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：

也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：

:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>

:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>

假设存在一个真实的但未知的概率分布 <math>p </math>和使用N参数的模型获得的预测分布 <math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v)</math>, 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到

 

假设存在一个真实的但未知的概率分布 <math>p </math>以及一个具有N个参数的模型，它给出的预测分布为<math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v)</math>, 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到

:<math>L_{CE}(N) = -\log\hat{p}_N(v^*)</math>

:<math>L_{CE}(N) = -\log\hat{p}_N(v^*)</math>

因此模型在给定输入的情况下，正确预测出单个token的概率为：

因此模型在给定输入的情况下，正确预测出单个token的概率为：

:<math>p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})</math>

:<math>p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})</math>

如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以画为平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：

如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以得到平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：

:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L</math>

:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L</math>

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，我们就观察到了模型能力随模型规模增大而非线性增长的曲线，即呈现出了涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模展现出平滑、连续和可预测的变化，即未出现涌现现象。

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]

依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象<ref name=":mirage" />。

依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就不会有涌现现象<ref name=":mirage" />。

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：

一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件：

一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件：

P1: 在需要能力C的任务上，模型表现出现非线性的明显提升；

P1: 在需要能力C的任务上，模型表现呈现非线性的明显提升；

P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。

P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。