336
个编辑
更改
跳到导航
跳到搜索
第92行：
第92行： − + − 同样地，如果研究者选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象。总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：+ 第100行：
第100行： − + +
→基于下游任务的涌现的影响因素及争议
[[文件:LLM-EMERGENCE-mirage-fig2c.png|边框|无框]]
[[文件:LLM-EMERGENCE-mirage-fig2c.png|边框|无框]]
而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化（如下图所示），即，未能观察到涌现现象。
而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化（如下图所示），即，未能观察到涌现现象。[[文件:LLM-EMERGENCE-mirage-fig2e.png|缩略图|替代=|无]]同样地，如果研究者选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象。
总之，有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；
2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；
2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；
3. 在较大参数范围内采样不足。[[文件:LLM-EMERGENCE-mirage-fig2e.png|缩略图|替代=|无]]
3. 在较大参数范围内采样不足。