336
个编辑
更改
→基于下游任务的涌现的影响因素及争议： 定性预测
=基于下游任务的涌现的影响因素及争议=
=基于下游任务的涌现的影响因素及争议=
上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。
例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析初见端倪<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：
: <math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>
:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>
假设存在一个真实的但未知的概率分布 <math>p </math>和使用N参数的模型获得的预测分布 <math>\hat{p}_N</math>，根据交叉熵的定义：
假设存在一个真实的但未知的概率分布 <math>p </math>和使用N参数的模型获得的预测分布 <math>\hat{p}_N</math>，根据交叉熵的定义：
: <math>L_{CE}(N) = -\sum_{v \in V}p(v)log\hat{p}_N(v)</math>
:<math>L_{CE}(N) = -\sum_{v \in V}p(v)log\hat{p}_N(v)</math>
其中<math>V</math>是可能的tokens的集合。
其中<math>V</math>是可能的tokens的集合。
由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到
由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到
: <math>L_{CE}(N) = -log\hat{p}_N(v^*)</math>
:<math>L_{CE}(N) = -log\hat{p}_N(v^*)</math>
因此模型在给定输入的情况下，正确预测出单个token的概率为：
: <math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
:<math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
如下图所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以画为平缓增长的曲线。
[[文件:LLM-EMERGENCE-mirage-fig2b.png|边框|无框]]
[[文件:LLM-EMERGENCE-mirage-fig2b.png|边框|无框]]
假设某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = exp (-L_{CE}(N)) = exp(-(N/c)^{a})^L</math>
如下图所示，可以观察到在一个线性-对数图中，这种度量下的模型能力随模型规模增大而非线性地增长，呈现出涌现现象。
[[文件:LLM-EMERGENCE-mirage-fig2c.png|缩略图]]
而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化（如下图所示），即，未能观察到涌现现象。
[[文件:LLM-EMERGENCE-mirage-fig2e.png|缩略图]]
同样地，如果研究者选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象。总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；
2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；
3. 在较大参数范围内采样不足。
=大语言模型涌现的度量=
=大语言模型涌现的度量=