81
个编辑
更改
→大语言模型的能力涌现
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Huang等人提出的假设<ref></ref>：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。
Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“[[归纳头]]”这一特定电路结构的时刻<ref>{{cite journal | author1=Olsson C | author2=Elhage N | author3=Nanda N | author4=Joseph N | author5=DasSarma N | author6=Henighan T | author7=Mann B | author8=Askell A | author9=Bai Y | author10=Chen A | year=2022 | title=In-context learning and induction heads | journal=arXiv preprint arXiv:2209.11895 | volume= | issue= | page= | url=https://arxiv.org/abs/2209.11895 }}</ref>。研究发现，模型在训练过程中会出现一个短暂的[[相变]]时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。
Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“[[归纳头]]”这一特定电路结构的时刻<ref>{{cite journal | author1=Olsson C | author2=Elhage N | author3=Nanda N | author4=Joseph N | author5=DasSarma N | author6=Henighan T | author7=Mann B | author8=Askell A | author9=Bai Y | author10=Chen A | year=2022 | title=In-context learning and induction heads | journal=arXiv preprint arXiv:2209.11895 | volume= | issue= | page= | url=https://arxiv.org/abs/2209.11895 }}</ref>。研究发现，模型在训练过程中会出现一个短暂的[[相变]]时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。