更改

=== 反思与批判：顿悟和涌现可能只是“度量的幻觉” ===

=== 反思与批判：顿悟和涌现可能只是“度量的幻觉” ===

Are Emergent Abilities of Large Language Models a Mirage? 这篇论文在当时引起了巨大轰动，作者指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了非线性或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。

Are Emergent Abilities of Large Language Models a Mirage? 这篇论文在当时引起了巨大轰动，作者指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了非线性或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。

<references />

<references />