142
个编辑
更改
→大语言模型的能力涌现
=== [[大语言模型的能力涌现]] ===
=== [[大语言模型的涌现能力]] ===
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和[[涌现]]），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。
The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和[[涌现]]），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。
=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===
=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===