更改

由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，人们将其称为"LU机制"。这一简单机制可以很好地解释顿悟的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。

由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，人们将其称为"LU机制"。这一简单机制可以很好地解释顿悟的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。

=== 特征学习 ===

=== 特征学习 ===

这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象<ref>{{cite web | author1=Kumar T | author2=Bordelon B | author3=Gershman S J | author4=Pehlevan C | year=2024 | title=Grokking as the Transition from Lazy to Rich Training Dynamics | website=Twelfth International Conference on Learning Representations (ICLR) | url=https://openreview.net/forum?id=vt5mnLVIVo }}</ref>。

这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象<ref>{{cite web | author1=Kumar T | author2=Bordelon B | author3=Gershman S J | author4=Pehlevan C | year=2024 | title=Grokking as the Transition from Lazy to Rich Training Dynamics | website=Twelfth International Conference on Learning Representations (ICLR) | url=https://openreview.net/forum?id=vt5mnLVIVo }}</ref>。

== 促进顿悟的方法 ==

== 促进顿悟的方法 ==

=== 权重范数 ===

=== 权重范数 ===

其中的一个关键发现与权重范数有关——可以把它理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们任务存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近<ref name=":2" />。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。

其中的一个关键发现与权重范数有关，可以理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们认为存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近<ref name=":2" />。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。

=== 慢梯度增强(Slow Gradient Amplification) ===

=== 慢梯度增强(Slow Gradient Amplification) ===

这项名为 Grokfast 的研究发现造成顿悟的原因在于梯度的频率特性：

这项名为 Grokfast 的研究发现造成顿悟的原因在于梯度的频率特性<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>：

* '''快梯度（高频信号）'''：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。

* '''快梯度（高频信号）'''：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据。

* '''慢梯度（低频信号）'''：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。

* '''慢梯度（低频信号）'''：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量。

该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>。

该方法的解决思路非常巧妙，即“滤噪存真”：把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。

研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用后验结构知识的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：

研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用后验结构知识的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：

首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过[[幅度剪枝]]（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个[[二值掩码]]（Binary Mask） 。将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。该方法之所以能消除泛化延迟，其核心机理包含两个方面：

首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过[[幅度剪枝]]（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个[[二值掩码]]（Binary Mask），然后将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。该方法之所以能消除泛化延迟，其核心机理包含两个方面：

* 拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。

* 拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。

'''1. 权重初始化'''

'''1. 权重初始化'''

权重初始化的方法即用已顿悟的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref>{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结（不更新），以此研究不同任务间内部表示与算法的相似性，并显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。

权重初始化的方法即用已顿悟的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref>{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结，以此利用不同任务间内部表示与算法的相似性，显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。

'''2. 嵌入迁移'''

'''2. 嵌入迁移'''

Xu等人提出的 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型中如何被表示和编码，也就是嵌入层。

Xu等人提出了 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型嵌入层中如何被表示和编码。

嵌入迁移法的步骤可以简单理解为：

嵌入迁移法的步骤可以简单理解为：

Belkin等人<ref>{{cite journal | author1=Belkin M | author2=Hsu D | author3=Ma S | author4=Mandal S | year=2019 | title=Reconciling modern machine-learning practice and the classical bias–variance trade-off | journal=Proceedings of the National Academy of Sciences | volume=116 | issue=32 | page=15849–15854 | url=https://www.pnas.org/doi/full/10.1073/pnas.1903070116 }}</ref>提出的双下降（Double Descent）现象揭示了模型验证误差随规模变化的非单调模式：误差先下降，随后因过拟合噪声而上升，最终随着模型容量的进一步扩大而再次下降。Nakkiran等人<ref>{{cite journal | author1=Nakkiran P | author2=Kaplun G | author3=Bansal Y | author4=Yang T | author5=Barak B | author6=Sutskever I | year=2021 | title=Deep double descent: Where bigger models and more data hurt | journal=Journal of Statistical Mechanics: Theory and Experiment | volume=2021 | issue=12 | page=124003 | url=https://iopscience.iop.org/article/10.1088/1742-5468/ac3a74 }}</ref>进一步在多种架构下验证了这一现象，指出误差峰值往往出现在训练误差趋近于零的临界区间。

Belkin等人<ref>{{cite journal | author1=Belkin M | author2=Hsu D | author3=Ma S | author4=Mandal S | year=2019 | title=Reconciling modern machine-learning practice and the classical bias–variance trade-off | journal=Proceedings of the National Academy of Sciences | volume=116 | issue=32 | page=15849–15854 | url=https://www.pnas.org/doi/full/10.1073/pnas.1903070116 }}</ref>提出的双下降（Double Descent）现象揭示了模型验证误差随规模变化的非单调模式：误差先下降，随后因过拟合噪声而上升，最终随着模型容量的进一步扩大而再次下降。Nakkiran等人<ref>{{cite journal | author1=Nakkiran P | author2=Kaplun G | author3=Bansal Y | author4=Yang T | author5=Barak B | author6=Sutskever I | year=2021 | title=Deep double descent: Where bigger models and more data hurt | journal=Journal of Statistical Mechanics: Theory and Experiment | volume=2021 | issue=12 | page=124003 | url=https://iopscience.iop.org/article/10.1088/1742-5468/ac3a74 }}</ref>进一步在多种架构下验证了这一现象，指出误差峰值往往出现在训练误差趋近于零的临界区间。

近期研究致力于将双下降现象与顿悟现象联系起来。Davies等人<ref>{{cite journal | author1=Davies X | author2=Langosco L | author3=Krueger D | year=2023 | title=Unifying grokking and double descent | journal=arXiv preprint arXiv:2303.06173 | volume= | issue= | page= | url=https://arxiv.org/abs/2303.06173 }}</ref>提出了一种基于“规模-时间”对偶性的假说，认为两者本质上反映了模型对不同复杂度模式的学习速率差异：模型倾向于先快速拟合简单的虚假相关性（导致第一次下降后回升），只有在长时间训练或更大规模下，才能掌握复杂的泛化模式（导致第二次下降，即顿悟）。

近期研究致力于将双下降现象与顿悟现象联系起来。Davies等人<ref>{{cite journal | author1=Davies X | author2=Langosco L | author3=Krueger D | year=2023 | title=Unifying grokking and double descent | journal=arXiv preprint arXiv:2303.06173 | volume= | issue= | page= | url=https://arxiv.org/abs/2303.06173 }}</ref>提出了一种基于“规模-时间”对偶性的假说，认为两者本质上反映了模型对不同复杂度模式的学习速率差异：模型倾向于先快速拟合简单的虚假相关性（导致第一次下降后回升），只有在长时间训练或更大规模下，才能掌握复杂的泛化模式（导致第二次下降，也即顿悟）。

具体而言，这种关联的表现形式受限于训练数据量。当数据量不足（低于特定临界点）时，模型随规模扩大会经历“渐进期—记忆期—半顿悟期—顿悟期”四个阶段，其中“记忆期”的性能恶化直接对应双下降的峰值；反之，当数据量充足时，模型能够跳过记忆期带来的负面影响，直接从渐进期过渡到顿悟期，表现为泛化性能的单调提升。

具体而言，这种关联的表现形式受限于训练数据量。当数据量不足（低于特定临界点）时，模型随规模扩大会经历“渐进期—记忆期—半顿悟期—顿悟期”四个阶段，其中“记忆期”的性能恶化直接对应双下降的峰值；反之，当数据量充足时，模型能够跳过记忆期带来的负面影响，直接从渐进期过渡到顿悟期，表现为泛化性能的单调提升。

=== [[大语言模型的涌现能力]] ===

=== [[大语言模型的涌现能力]] ===

该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Huang等人提出的假设<ref name=":13" />：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。

该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Huang等人提出的假设<ref name=":13" />：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。

=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===

=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===

Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。

Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。这提示我们需要从不同角度审视与探讨顿悟现象。