更改

神经网络中的顿悟 (查看源代码)

2026年1月5日 (一) 18:41的版本

添加13字节、 2026年1月5日 (星期一)

无编辑摘要

第10行：第10行：

== 历史 ==

−

=== 顿悟的发现 ===

OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（<math>(a+b) \mod p = c</math>），测试了 Transformer 在未知的<math>a</math> 和 <math>b</math> 组合下能否正确预测答案<math>c</math>。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。

+

== 相关基础知识 ==

第30行：第29行：

=== 早停机制（Early Stop） ===

为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制，这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。

+

== 顿悟的场景 ==

−

起初，顿悟似乎只是简单数学[[玩具模型]]的一个特性，但随着研究深入，人们发现从[[图像识别]]到[[大语言模型]]，顿悟无处不在。

第41行：第41行：

[[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]

+

=== 其他算法任务 ===

第56行：第57行：

'''5. 跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。

+

=== 非算法任务 ===

−

顿悟不仅仅存在于完美的数学公式中，刘子鸣团队在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，他们发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>：

第68行：第69行：

除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去顿悟，它就能自动学会进行多步推理。

+

=== 大语言模型 ===

现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人<ref>{{cite journal | author1=Li Z | author2=Fan C | author3=Zhou T | year=2025 | title=Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2506.21551 }}</ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。

+

== 顿悟现象的可解释性分析 ==

第83行：第87行：

刘子鸣在他们的论文<ref name=":1" />里更明确地指出，泛化的发生与输入嵌入高度结构化的出现直接相关。他们发现，在玩具模型中，这种结构表现为嵌入向量形成平行四边形结构；在模运算中，表现为圆形结构。当且仅当模型学到了这种结构，它才能进行泛化。为了精确衡量结构化程度，他们还提出了一个可量化的指标——表征质量指数（RQI）。RQI 衡量的是学习到的嵌入在多大程度上满足任务所要求的数学关系（例如，在加法中，检查有多少 <math>(i, j, m, n)</math> 四元组满足 <math>E_i + E_j = E_m + E_n</math>）。实验表明，RQI 与模型的泛化准确率高度一致，证实了结构化表征是泛化的直接原因。

+

=== 时钟和披萨算法 ===

第95行：第100行：

左侧为Clock算法，右侧为Pizza算法。两者均包含三个核心步骤：输入嵌入（Embed）、中间计算（MLP/Transformer）、输出预测（Unembed/Logit），但中间计算逻辑存在本质差异。时钟算法模拟时钟指针相加:将<math>a</math> 和<math>b</math> 对应的角度直接相加，得到和<math>a+b</math> 对应的角度，再映射到结果<math>c</math> 。披萨算法通过<math>a</math> 和<math>b</math> 的平均值向量所在的“披萨切片"区域判断结果。平均值向量的角度由<math>a+b</math> 决定，长度由<math>a-b</math> 决定。

刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，他们发现，这些网络中发现的大约40%的算法是披萨算法或时钟算法的变种，而目前还无法精确破译。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西。”刘说道。

+

=== 控制权之争 ===

第114行：第120行：

(d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。

+

=== 参数空间 ===

第121行：第128行：

由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释顿悟的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。

+

=== 特征学习 ===

−

而从训练动力学的角度探索模型，可将神经网络的训练动态分为两个阶段，惰性训练动态和丰富的特征学习动态。在惰性训练动态阶段，网络参数<math> w</math> 几乎停留在初始点<math> w_0 </math>附近，网络行为接近一个关于参数的线性模型：网络通过初始神经切线核（NTK）提供的特征来拟合数据，此时训练相当于进行一次固定核的[[核回归]]（Kernel Regression）。随着训练推进，参数更新幅度逐渐增大，网络不再保持线性近似。这时网络不再依赖初始NTK，而是通过学习生成新的特征空间，更好地捕捉数据的结构。

第133行：第140行：

这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象<ref>{{cite web | author1=Kumar T | author2=Bordelon B | author3=Gershman S J | author4=Pehlevan C | year=2024 | title=Grokking as the Transition from Lazy to Rich Training Dynamics | website=Twelfth International Conference on Learning Representations (ICLR) | url=https://openreview.net/forum?id=vt5mnLVIVo }}</ref>。

+

== 促进顿悟的方法 ==

第139行：第148行：

=== 权重范数 ===

其中的一个关键发现与权重范数有关——可以把它理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们任务存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近<ref name=":2" />。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。

+

=== 慢梯度增强(Slow Gradient Amplification) ===

第148行：第158行：

该方法的解决思路非常巧妙，即“滤噪存真”：研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>。

+

=== 顿悟彩票（Grokking Ticket） ===

第159行：第170行：

* 解耦权重优化与结构优化：在标准训练中，模型需要同时进行参数值的优化和有效结构的筛选。应用掩码后，模型直接跳过了漫长的“结构搜索”阶段，使得训练准确率与测试准确率同步上升，从而消除了延迟泛化。

+

=== 基于预训练或迁移的加速学习策略 ===

'''1. 权重初始化'''

−

权重初始化的方法即用已顿悟的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref>{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结（不更新），以此研究不同任务间内部表示与算法的相似性，并显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。

'''2. 嵌入迁移'''

−

Xu等人提出的 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型中如何被表示和编码，也就是嵌入层。

第177行：第187行：

通过这种方式，强大的目标模型在训练之初就获得了高质量的嵌入，不再需要从零开始摸索数据间的潜在联系。它直接站在了弱模型的肩膀上，因此可以迅速从记忆阶段进入泛化阶段，大大加速甚至完全消除了原有的泛化延迟现象。

+

== 顿悟与其他现象的关联 ==

第188行：第200行：

Grokking 现象和双重下降现象可以被视为同一学习机制在不同条件下的表现。它们都源于一个共同的学习动态：神经网络的归纳偏置更倾向于选择那些泛化能力强但学习速度慢的模式，因此模型会经历一个从“快速学习但泛化差”的模式向“学习慢但泛化好”的模式过渡的过程。

+

=== [[大语言模型的能力涌现]] ===

−

从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。

第198行：第210行：

The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和[[涌现]]），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。

+

=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===

陶柯霏

81

个编辑

更改

神经网络中的顿悟 (查看源代码)

2026年1月5日 (一) 18:41的版本

导航菜单

搜索