336
个编辑
更改
→基于下游任务的涌现的影响因素及争议
如下图所示，可以观察到在一个线性-对数图中，这种度量下的模型能力随模型规模增大而非线性地增长，呈现出涌现现象。
如下图所示，可以观察到在一个线性-对数图中，这种度量下的模型能力随模型规模增大而非线性地增长，呈现出涌现现象。
[[文件:LLM-EMERGENCE-mirage-fig2c.png|缩略图]]
[[文件:LLM-EMERGENCE-mirage-fig2c.png|边框|无框]]
而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化（如下图所示），即，未能观察到涌现现象。
而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化（如下图所示），即，未能观察到涌现现象。
同样地，如果研究者选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象。总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
同样地，如果研究者选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象。总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；
2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；
3. 在较大参数范围内采样不足。
3. 在较大参数范围内采样不足。[[文件:LLM-EMERGENCE-mirage-fig2e.png|缩略图|替代=|无]]
=大语言模型涌现的度量=
=大语言模型涌现的度量=