336
个编辑
更改
跳到导航
跳到搜索
第71行：
第71行： + + + + + + + + + + + +
→影响下游任务能力涌现的因素及争议： 插入一个公式
例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变指标，则会观察到模型能力的连续变化。这一点可以通过对不同指标的定性分析初见端倪<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：
: <math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>
假设存在一个真实的但未知的概率分布 <math>p </math>和使用N参数的模型获得的预测分布 <math>\hat{p}_N</math>，根据交叉熵的定义：
: <math>L_{CE}(N) = -\sum_{v \in V}p(v)log\hat{p}_N(v)</math>
其中<math>V</math>是可能的tokens的集合。
由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到
: <math>L_{CE}(N) = -log\hat{p}_N(v^*)</math>
因此模型在给定输入的情况下，预测出单个正确token的概率为：
: <math>p(single token correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
这是一个
=大语言模型涌现的度量=
=大语言模型涌现的度量=