更改

你是否经历过学习中的‘灵光一现’？其实，人工智能模型也有这样的时刻。

你是否经历过学习中的‘灵光一现’？其实，人工智能模型也有这样的时刻。

我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。

我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。

==== 神经网络的记忆（Memory）与泛化（Generalization） ====

==== 神经网络的记忆（Memory）与泛化（Generalization） ====

记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致“过拟合”。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。

记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致“过拟合”。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。

记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过正则化、早停、交叉验证等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的欠拟合。

记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制[[过拟合]]。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。

==== 神经网络中的涌现（Emergent Abilities） ====

==== 神经网络中的涌现（Emergent Abilities） ====

顿悟是一种特殊的涌现现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的非线性特征。

顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的非线性特征。

==== 早停机制（Early Stop） ====

==== 早停机制（Early Stop） ====

== 顿悟的场景 ==

== 顿悟的场景 ==

=== 模运算 ===

=== 模运算 ===

'''群运算（Group Operations）：'''这是模运算的推广。Chughtai 等人<ref>{{cite journal | author1=Chughtai B | author2=Chan L | author3=Nanda N | year=2023 | title=A toy model of universality: Reverse engineering how networks learn group operations | journal=International Conference on Machine Learning (ICML), PMLR | volume= | issue= | page= | url= }}</ref>训练MLP模型在阶数为<math>∣G∣=n</math>的有限群上执行群组合运算，发现模型表现出"顿悟"现象。模型输入为有序对 <math>(a,b)</math>（其中<math>a, b \in G</math>），训练目标是预测群元素 <math>c=ab</math>。值得注意的是，Nanda等人<ref name=":0" />提出的任务是该任务的特例——因为模113加法运算等价于113阶循环群的组合运算。

'''群运算（Group Operations）：'''这是模运算的推广。Chughtai 等人<ref>{{cite journal | author1=Chughtai B | author2=Chan L | author3=Nanda N | year=2023 | title=A toy model of universality: Reverse engineering how networks learn group operations | journal=International Conference on Machine Learning (ICML), PMLR | volume= | issue= | page= | url= }}</ref>训练MLP模型在阶数为<math>∣G∣=n</math>的有限群上执行群组合运算，发现模型表现出"顿悟"现象。模型输入为有序对 <math>(a,b)</math>（其中<math>a, b \in G</math>），训练目标是预测群元素 <math>c=ab</math>。值得注意的是，Nanda等人<ref name=":0" />提出的任务是该任务的特例——因为模113加法运算等价于113阶循环群的组合运算。

'''n位k稀疏奇偶校验（Parity Check）：'''这是一个典型离散搜索问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限<math> n^{O(k)}</math> 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从<math> n </math>个比特中找出 <math>k </math>个关键比特并计算它们的异或作为标签。

'''n位k稀疏奇偶校验（Parity Check）：'''这是一个典型[[离散搜索]]问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限<math> n^{O(k)}</math> 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从<math> n </math>个比特中找出 <math>k </math>个关键比特并计算它们的异或作为标签。

2023年，Nanda等人<ref name=":0" />发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：

2023年，Nanda等人<ref name=":0" />发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：

=== 非算法任务 ===

=== 非算法任务 ===

顿悟不仅仅存在于完美的数学公式中。

顿悟不仅仅存在于完美的数学公式中。

Ziming Liu在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：

 

刘子鸣团队在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：

'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。  

'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。  

'''分子QM9任务'''：该数据是小分子及其性质的数据库。采用图卷积神经网络（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。使用Adam优化器以0.001学习率最小化均方误差损失。数据集按50/50比例划分为训练集/测试集。

'''分子QM9任务'''：该数据是小分子及其性质的数据库。采用[[图卷积神经网络]]（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。使用Adam优化器以0.001学习率最小化均方误差损失。数据集按50/50比例划分为训练集/测试集。

'''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU多层感知机（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。

'''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU[[多层感知机]]（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。

除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去“顿悟”，它就能自动学会进行多步推理。

除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去“顿悟”，它就能自动学会进行多步推理。

=== 结构化表征 ===

=== 结构化表征 ===

OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用 t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如在模加法任务中，嵌入空间中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5​任务中，嵌入空间中出现了子群和陪集的结构，显示出网络对群结构的理解。尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。

OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用 t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出网络对群结构的理解。尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。

[[文件:随训练嵌入结构变化.png|缩略图|在模加法运算中，对模型的输入嵌入层在不同训练阶段的结构进行可视化，发现在泛化发生之前，嵌入点是混乱无结构的；而当泛化发生时，这些嵌入点突然形成了一个完美的圆形。]]

[[文件:随训练嵌入结构变化.png|缩略图|在模加法运算中，对模型的输入嵌入层在不同训练阶段的结构进行可视化，发现在泛化发生之前，嵌入点是混乱无结构的；而当泛化发生时，这些嵌入点突然形成了一个完美的圆形。]]

刘子鸣在他们的论文<ref name=":1" />里更明确地指出，泛化的发生与输入嵌入高度结构化的出现直接相关。他们发现，在玩具模型（如加法）中，这种结构表现为嵌入向量形成平行四边形结构；在模运算中，表现为圆形结构。当且仅当模型学到了这种结构，它才能进行泛化。为了精确衡量结构化程度，他们还提出了一个可量化的指标——表征质量指数（RQI ）。RQI 衡量的是学习到的嵌入在多大程度上满足任务所要求的数学关系（例如，在加法中，检查有多少 <math>(i, j, m, n)</math> 四元组满足 <math>E_i + E_j = E_m + E_n</math>）。实验表明，RQI 与模型的泛化准确率高度一致，证实了结构化表征是泛化的直接原因。

刘子鸣在他们的论文<ref name=":1" />里更明确地指出，泛化的发生与输入嵌入高度结构化的出现直接相关。他们发现，在玩具模型（如加法）中，这种结构表现为嵌入向量形成平行四边形结构；在模运算中，表现为圆形结构。当且仅当模型学到了这种结构，它才能进行泛化。为了精确衡量结构化程度，他们还提出了一个可量化的指标——表征质量指数（RQI ）。RQI 衡量的是学习到的嵌入在多大程度上满足任务所要求的数学关系（例如，在加法中，检查有多少 <math>(i, j, m, n)</math> 四元组满足 <math>E_i + E_j = E_m + E_n</math>）。实验表明，RQI 与模型的泛化准确率高度一致，证实了结构化表征是泛化的直接原因。

=== 时钟和披萨算法 ===

=== 时钟和披萨算法 ===

[[文件:Clock and pizza.png|缩略图|时钟与披萨算法示意图]]

[[文件:Clock and pizza.png|缩略图|时钟与披萨算法示意图]]

Nanda 的工作重点是逆向工程训练好的网络，以弄清楚它学习了哪些算法<ref name=":0" />。他设计了一个更简单的 OpenAI 神经网络版本，以便在模型学习模块化算术时仔细检查其参数。他看到了相同的行为：过拟合逐渐让位于泛化，测试准确率突然提高。他的网络也在将数字排列成圆形。经过一番努力，南达最终弄清了原因。当将数字表示在圆形上时，网络并不是像看时钟的小学生那样简单地数数：它在进行一些复杂的数学操作。通过研究网络参数的值，南达和同事们发现，它通过对这些时钟数字进行“离散傅里叶变换”来相加——使用正弦和余弦等三角函数转换数字，然后利用三角恒等式对这些值进行操作以得出解决方案。

Nanda 的工作重点是逆向工程训练好的网络，以弄清楚它学习了哪些算法<ref name=":0" />。他设计了一个更简单的 OpenAI 神经网络版本，以便在模型学习模块化算术时仔细检查其参数。他看到了相同的行为：过拟合逐渐让位于泛化，测试准确率突然提高。他的网络也在将数字排列成圆形。经过一番努力，Nanda最终弄清了原因。当将数字表示在圆形上时，网络并不是像看时钟的小学生那样简单地数数：它在进行一些复杂的数学操作。通过研究网络参数的值，南达和同事们发现，它通过对这些时钟数字进行“[[离散傅里叶变换]]”来相加——使用正弦和余弦等三角函数转换数字，然后利用三角恒等式对这些值进行操作以得出解决方案。

当麻省理工学院的刘子鸣团队继续研究Nanda的工作时，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。

当麻省理工学院的刘子鸣团队继续研究Nanda的工作时，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。

并且，由于临界数据集规模𝐷crit决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足 𝐷 < 𝐷crit条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 𝐷 ≈ 𝐷crit时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。

并且，由于临界数据集规模𝐷crit决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足 𝐷 < 𝐷crit条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 𝐷 ≈ 𝐷crit时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。

[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图]]

[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图]]

进一步地，Huang等人<ref>{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型隐空间维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：

进一步地，Huang等人<ref>{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：

(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；

(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；

=== 特征学习 ===

=== 特征学习 ===

而从训练动力学的角度探索模型，可将神经网络的训练动态分为两个阶段，惰性训练动态和丰富的特征学习动态。在惰性训练动态阶段，网络参数<math> w</math> 几乎停留在初始点<math> w_0 </math>附近，网络行为接近一个关于参数的线性模型：网络通过初始神经切线核（NTK）提供的特征来拟合数据，此时训练相当于进行一次固定核的核回归（Kernel Regression）。随着训练推进，参数更新幅度逐渐增大，网络不再保持线性近似。这时网络不再依赖初始NTK，而是通过学习生成新的特征空间，更好地捕捉数据的结构。

而从训练动力学的角度探索模型，可将神经网络的训练动态分为两个阶段，惰性训练动态和丰富的特征学习动态。在惰性训练动态阶段，网络参数<math> w</math> 几乎停留在初始点<math> w_0 </math>附近，网络行为接近一个关于参数的线性模型：网络通过初始神经切线核（NTK）提供的特征来拟合数据，此时训练相当于进行一次固定核的[[核回归]]（Kernel Regression）。随着训练推进，参数更新幅度逐渐增大，网络不再保持线性近似。这时网络不再依赖初始NTK，而是通过学习生成新的特征空间，更好地捕捉数据的结构。

为了让训练发生从惰性到特征学习的转变，需要同时满足：

为了让训练发生从惰性到特征学习的转变，需要同时满足：

研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用“后验结构知识”的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：

研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用“后验结构知识”的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：

首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过幅度剪枝（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个二值掩码（Binary Mask） 。

 

首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过[[幅度剪枝]]（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个二值掩码（Binary Mask） 。将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。该方法之所以能消除泛化延迟，其核心机理包含两个方面：

 

拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。

拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。

解耦权重优化与结构优化：在标准训练中，模型需要同时进行参数值的优化和有效结构的筛选。应用掩码后，模型直接跳过了漫长的“结构搜索”阶段，使得训练准确率与测试准确率同步上升，从而消除了延迟泛化。

解耦权重优化与结构优化：在标准训练中，模型需要同时进行参数值的优化和有效结构的筛选。应用掩码后，模型直接跳过了漫长的“结构搜索”阶段，使得训练准确率与测试准确率同步上升，从而消除了延迟泛化。

Xu等人提出的 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（我们称之为嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型中如何被表示和编码，也就是嵌入层。

Xu等人提出的 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（我们称之为嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型中如何被表示和编码，也就是嵌入层。

嵌入迁移法的步骤可以简单理解为：

嵌入迁移法的步骤可以简单理解为：

 

 

知识迁移：接着，我们将这个弱模型学习到的、带有有效结构信息的嵌入层参数提取出来。用这些参数来初始化我们真正想要训练的那个更强大、更复杂的模型的嵌入层。

知识迁移：接着，我们将这个弱模型学习到的、带有有效结构信息的嵌入层参数提取出来。用这些参数来初始化我们真正想要训练的那个更强大、更复杂的模型的嵌入层。

通过这种方式，强大的目标模型在训练之初就获得了高质量的嵌入，不再需要从零开始摸索数据间的潜在联系。它直接站在了弱模型的肩膀上，因此可以迅速从记忆阶段进入泛化阶段，大大加速甚至完全消除了原有的泛化延迟现象。

通过这种方式，强大的目标模型在训练之初就获得了高质量的嵌入，不再需要从零开始摸索数据间的潜在联系。它直接站在了弱模型的肩膀上，因此可以迅速从记忆阶段进入泛化阶段，大大加速甚至完全消除了原有的泛化延迟现象。

从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。通过为泛化数据和记忆数据分配独立参数来降低涌现模型规模的实验，进一步支持了这一假设。该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Hu et al.(2024)提出的假设：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。

从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。通过为泛化数据和记忆数据分配独立参数来降低涌现模型规模的实验，进一步支持了这一假设。该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Hu et al.(2024)提出的假设：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。

Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“归纳头”这一特定电路结构的时刻<ref>{{cite journal | author1=Olsson C | author2=Elhage N | author3=Nanda N | author4=Joseph N | author5=DasSarma N | author6=Henighan T | author7=Mann B | author8=Askell A | author9=Bai Y | author10=Chen A | year=2022 | title=In-context learning and induction heads | journal=arXiv preprint arXiv:2209.11895 | volume= | issue= | page= | url=https://arxiv.org/abs/2209.11895 }}</ref>。研究发现，模型在训练过程中会出现一个短暂的相变时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。

Anthropic 的团队发现，LLM 的上下文学习（In-context Learning）能力的涌现，恰好发生在模型顿悟了“归纳头”这一特定电路结构的时刻<ref>{{cite journal | author1=Olsson C | author2=Elhage N | author3=Nanda N | author4=Joseph N | author5=DasSarma N | author6=Henighan T | author7=Mann B | author8=Askell A | author9=Bai Y | author10=Chen A | year=2022 | title=In-context learning and induction heads | journal=arXiv preprint arXiv:2209.11895 | volume= | issue= | page= | url=https://arxiv.org/abs/2209.11895 }}</ref>。研究发现，模型在训练过程中会出现一个短暂的[[相变]]时刻（即顿悟）。在这个时刻，验证集损失突然下降，同时上下文学习能力突然涌现。这种同步发生是因为模型学会了使用归纳头（Induction Heads）——一种能够通过查找前文来复制模式的注意力机制电路。这一发现强烈暗示，宏观的涌现是由微观电路层面的顿悟驱动的。

The Quantization Model of Neural Scaling<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和涌现），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。它将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下

The Quantization Model of Neural Scaling<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和涌现），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。它将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下

=== 反思与批判：顿悟和涌现可能只是“度量的幻觉” ===

=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===

Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了非线性或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。

Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。

= 参考文献 =

= 参考文献 =

<references />

<references />