336
个编辑
更改
→从规模法则到涌现现象： 修改图片和精简文字
也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析初见端倪<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：
也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析初见端倪<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：
:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>
:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>
假设存在一个真实的但未知的概率分布 <math>p </math>和使用N参数的模型获得的预测分布 <math>\hat{p}_N</math>，根据交叉熵的定义：
假设存在一个真实的但未知的概率分布 <math>p </math>和使用N参数的模型获得的预测分布 <math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)log\hat{p}_N(v)</math> 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到
其中<math>V</math>是可能的tokens的集合。
:<math>L_{CE}(N) = -log\hat{p}_N(v^*)</math>
:<math>L_{CE}(N) = -log\hat{p}_N(v^*)</math>
因此模型在给定输入的情况下，正确预测出单个token的概率为：
因此模型在给定输入的情况下，正确预测出单个token的概率为：
:<math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
:<math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以画为平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = exp (-L_{CE}(N)) = exp(-(N/c)^{a})^L</math>
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = exp (-L_{CE}(N)) = exp(-(N/c)^{a})^L</math>
如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。
[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|800x800像素]]
[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png]]
依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象<ref name=":mirage" />。
总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；