更改

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。

，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的[[交叉熵]]随参数量增加而以幂函数的形式下降：

所谓幻觉是指大模型的涌现现象来自人为的度量指标选择。非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的[[交叉熵]]随参数量增加而以幂函数的形式下降：

:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>

:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>