336
个编辑
更改
→从规模法则到涌现现象
因此模型在给定输入的情况下，正确预测出单个token的概率为：
因此模型在给定输入的情况下，正确预测出单个token的概率为：
:<math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
:<math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
假设某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：
假设某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = exp (-L_{CE}(N)) = exp(-(N/c)^{a})^L</math>
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = exp (-L_{CE}(N)) = exp(-(N/c)^{a})^L</math>
而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化（如下图所示），即，未能观察到涌现现象。
如下图所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以画为平缓增长的曲线。如下图所示，可以观察到在一个线性-对数图中，这种度量下的模型能力随模型规模增大而非线性地增长，呈现出涌现现象。
[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png]]
同样地，如果研究者选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象。
总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
文章指出，“信息涌现”（IE）与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''（IE）则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。
文章指出，“信息涌现”（IE）与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''（IE）则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。
==== 信息涌现的定义 ====
====信息涌现的定义====
文章中对信息涌现做了如下定义：
文章中对信息涌现做了如下定义：