81
个编辑
更改
跳到导航
跳到搜索
第154行：
第154行： + + + + + + +
→大语言模型的能力涌现
=== 大语言模型的能力涌现 ===
=== 大语言模型的能力涌现 ===
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。通过为泛化数据和记忆数据分配独立参数来降低涌现模型规模的实验，进一步支持了这一假设。该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Hu et al.(2024)提出的假设：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。
Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“归纳头”这一特定电路结构的时刻。研究发现，模型在训练过程中会出现一个短暂的相变时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。
The Quantization Model of Neural Scaling提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和涌现），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。它将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下
=== 反思与批判：顿悟和涌现可能只是“度量的幻觉” ===
Are Emergent Abilities of Large Language Models a Mirage? 这篇论文在当时引起了巨大轰动，作者指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了非线性或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。
<references />
<references />