81
个编辑
更改
跳到导航
跳到搜索
第184行：
第184行： − 从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。通过为泛化数据和记忆数据分配独立参数来降低涌现模型规模的实验，进一步支持了这一假设。该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Hu et al.(2024)提出的假设：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。+ − Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“归纳头”这一特定电路结构的时刻<ref>{{cite journal | author1=Olsson C | author2=Elhage N | author3=Nanda N | author4=Joseph N | author5=DasSarma N | author6=Henighan T | author7=Mann B | author8=Askell A | author9=Bai Y | author10=Chen A | year=2022 | title=In-context learning and induction heads | journal=arXiv preprint arXiv:2209.11895 | volume= | issue= | page= | url=https://arxiv.org/abs/2209.11895 }}</ref>。研究发现，模型在训练过程中会出现一个短暂的[[相变]]时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。+ − + + +
→大语言模型的能力涌现
=== 大语言模型的能力涌现 ===
=== 大语言模型的能力涌现 ===
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Hu et al.(2024)提出的假设：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。
The Quantization Model of Neural Scaling<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和涌现），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。它将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下
Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“[[归纳头]]”这一特定电路结构的时刻<ref>{{cite journal | author1=Olsson C | author2=Elhage N | author3=Nanda N | author4=Joseph N | author5=DasSarma N | author6=Henighan T | author7=Mann B | author8=Askell A | author9=Bai Y | author10=Chen A | year=2022 | title=In-context learning and induction heads | journal=arXiv preprint arXiv:2209.11895 | volume= | issue= | page= | url=https://arxiv.org/abs/2209.11895 }}</ref>。研究发现，模型在训练过程中会出现一个短暂的[[相变]]时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。
The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和涌现），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。
=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===
=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===