神经网络中的顿悟

神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。

我们可以用一个简单的例子帮助大家理解顿悟：假如一个小孩在学做数学题，在训练初期，他很快就记住了所有练习题（训练准确率100%），但完全不会做新题（测试准确率几乎是0%）。然而，再经过很长很长时间的训练，他突然灵光一现，测试准确率飙升到100%，他理解了背后的数学规则。这个从“死记硬背”到“真正理解”的突然转变，就被研究者们称为“顿悟”。

顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟

历史

相关基础知识

神经网络的记忆与泛化

神经网络的记忆指对训练数据的拟合能力，可以看作是神经网络“背诵”训练集数据的过程，记忆能使训练误差很低，但若过强会导致过拟合，只抓住噪声与偶然细节；泛化则是把从训练数据中学到的共性规律应用到未见样本上的能力，在验证集表现稳定、误差低。记忆与泛化两者需要平衡：既要有足够容量去拟合数据中存在的真实模式，又要通过正则化、早停、交叉验证等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的欠拟合。

神经网络中的涌现（Emergent Abilities）

顿悟是一种特殊的涌现现象，表现为泛化能力的突然跃升。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征。

早停机制（Early Stop）

通常情况下，人们在用神经网络构建机器学习模型时，倾向于在过拟合阶段前的某个点停止训练，称作早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮（耐心值）内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。

顿悟的发现

OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。

顿悟的场景

模运算

发现顿悟现象的部分二元运算

最初关于模型顿悟的研究大多在transformer执行模运算任务上进行。为什么使用模运算？是因为小型算法数据集在研究神经网络泛化能力方面具有重要作用。通过在这些数据集上进行实验，可以更显著地展现神经网络的泛化能力，因为在数据有限、规则清晰的情况下，模型需要更好地理解数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。

数据集由形如<math>a \circ b mod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立标记。由于通常只有a,b三个变量，所以很多研究只关注a,b与aob的关系，<x><op><y><=><xoy>，其中op是运算符。研究者们已经在多种模运算上验证了顿悟的存在。

其他算法任务

群运算：Chughtai 等人训练MLP模型在阶数为∣G∣=n的有限群上执行群组合运算，发现MLP模型表现出"顿悟"现象。模型输入为有序对 (a,b)（其中a,b∈G），训练目标是预测群元素 c=ab。值得注意的是，Nanda等人提出的任务是该任务的特例——因为模113加法运算等价于 113阶循环群的组合运算。

n位k稀疏奇偶校验：这是一个典型离散搜索问题。Barak等人通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限 n^{O(k)} 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从 n 个比特中找出 k 个关键比特并计算它们的异或作为标签。

2023年，Nanda等人发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：

5位数加法：该任务输入两个随机生成的5位数（例如 12345 + 67890），模型需预测其和的每一位数字（如 80235 的 8,0,2,3,5）。在1层完整Transformer上，训练数据限制为700个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟。

重复子序列预测：该任务生成均匀分布的随机符号序列，随机选择子序列进行重复，训练模型预测被重复的符号。（如 7,2,8,3, 1,9,3,8,3, 1,9,9,2,5，其中 1,9 为重复子序列）。在2层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，形成归纳头后直接泛化。

跳跃三元组：该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。

非算法任务

Ziming Liu在2022年首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：

IMDb文本情感分析任务：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。

分子QM9任务：该数据是小分子及其性质的数据库。采用图卷积神经网络（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。使用Adam优化器以0.001学习率最小化均方误差损失。数据集按50/50比例划分为训练集/测试集。

MNIST任务：在MNIST数据集上训练宽度200、深度3的ReLU多层感知机（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。

除此之外，Abramov等人提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现——使Transformer无需显式思维链提示或复杂外部框架即可执行复杂多步推理。

大语言模型

现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。

顿悟现象的可解释性分析

尽管人工智能神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，其他人已经复制了这些结果，甚至进行了逆向工程。最近发表的研究论文不仅阐明了这些神经网络在“顿悟”时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 说：“‘顿悟’数据的设置就像是一个很好的模式生物，有助于理解深度学习的许多不同方面，”观察这个生物体内部有时会非常揭示；现就职于伦敦谷歌深度思维的 Neel Nanda 说：“你不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要”。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性。通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。

群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）

结构化表征

OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用 t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构，例如在模加法任务中，嵌入空间中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5​任务中，嵌入空间中出现了子群和陪集的结构，显示出网络对群结构的理解。尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。

在模加法运算中，对模型的输入嵌入层在不同训练阶段的结构进行可视化，发现在泛化发生之前，嵌入点是混乱无结构的；而当泛化发生时，这些嵌入点突然形成了一个完美的圆形。

刘子鸣在他们的论文里更明确地指出，泛化的发生与输入嵌入高度结构化的出现直接相关。他们发现，在玩具模型（如加法）中，这种结构表现为嵌入向量形成平行四边形结构；在模运算中，表现为圆形结构。当且仅当模型学到了这种结构，它才能进行泛化。为了精确衡量结构化程度，他们还提出了一个可量化的指标——表征质量指数（RQI ）。RQI 衡量的是学习到的嵌入在多大程度上满足任务所要求的数学关系（例如，在加法中，检查有多少 (i, j, m, n) 四元组满足 E_i + E_j = E_m + E_n）。实验表明，RQI 与模型的泛化准确率高度一致，证实了结构化表征是泛化的直接原因。

时钟和披萨算法

时钟与披萨算法示意图

Nanda 的工作重点是逆向工程训练好的网络，以弄清楚它学习了哪些算法。他设计了一个更简单的 OpenAI 神经网络版本，以便在模型学习模块化算术时仔细检查其参数。他看到了相同的行为：过拟合逐渐让位于泛化，测试准确率突然提高。他的网络也在将数字排列成圆形。经过一番努力，南达最终弄清了原因。当将数字表示在圆形上时，网络并不是像看时钟的小学生那样简单地数数：它在进行一些复杂的数学操作。通过研究网络参数的值，南达和同事们发现，它通过对这些时钟数字进行“离散傅里叶变换”来相加——使用正弦和余弦等三角函数转换数字，然后利用三角恒等式对这些值进行操作以得出解决方案。

当麻省理工学院的刘子鸣团队继续研究Nanda的工作时，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。

麻省理工学院的刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，刘子鸣及其同事发现，这些网络发现的大约 40%的算法是披萨算法或时钟算法的变种。该团队目前还无法破译网络在其余时间所做的事情。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西，”刘说道。

控制权之争

研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值𝐷crit。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。

并且，由于临界数据集规模𝐷crit决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足 𝐷 < 𝐷crit条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 𝐷 ≈ 𝐷crit时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。

不同配置与训练数据量下模型表现出的动态差异与相图

进一步地，Huang等人对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型隐空间维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：

(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；

(b) 记忆区(memorization)：小规模训练数据下，模型能完全记忆且记忆回路效率优于泛化机制，因此仅表现为对训练数据的记忆行为，验证精度始终为零；

(c) 半顿悟区(semi-grokking)：当训练数据量接近临界规模时，模型在完成全记忆后会表现出中等程度的泛化能力；

(d) 顿悟区(grokking)：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。

参数空间

研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度。Weight Norms最近的研究也认为参数权重的L2 norm是结构顿悟的重要量。总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。通过分析Weight Norm，研究者提出了关于顿悟现象的一种解释：训练损失与测试损失景观之间的不匹配是导致顿悟的原因。两者在权重范数 w>wc区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化，在没有正则化的情况下模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。

由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释grokking的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。

特征学习

而从训练动力学的角度探索模型，可将神经网络的训练动态分为两个阶段，惰性训练动态和丰富的特征学习动态。在惰性训练动态阶段，网络参数 w 几乎停留在初始点 w0​附近，网络行为接近一个关于参数的线性模型：网络通过初始神经切线核（NTK）提供的特征来拟合数据，此时训练相当于进行一次固定核的核回归（Kernel Regression）。随着训练推进，参数更新幅度逐渐增大，网络不再保持线性近似。这时网络不再依赖初始NTK，而是通过学习生成新的特征空间，更好地捕捉数据的结构。

为了让训练发生从惰性到特征学习的转变，需要同时满足：

• 初始特征未对齐（misaligned NTK）：若初始NTK特征与任务标签方向接近，则惰性模型已能泛化，不会出现顿悟。
• 中等规模数据集
• 惰性初始（小步长 / 大α值）：训练初期参数变化缓慢，维持线性化状态，使得网络需较长时间才过渡到特征学习阶段。

这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象。

促进顿悟的方法

促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”

权重范数

其中的一个关键发现与权重范数有关——可以把它理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们任务存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。

慢梯度增强(Slow Gradient Amplification)

这项名为 Grokfast 的研究发现，造成顿悟的原因在于梯度的频率特性： 快梯度（高频信号）：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。 慢梯度（低频信号）：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。 该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通滤波器（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。

。

顿悟彩票（Grokking Ticket）

“顿悟彩票”（Grokking Ticket）这个名字非常巧妙，它桥接了两个重要的神经网络研究领域：Lottery Ticket Hypothesis (LTH, 彩票假设)和顿悟现象。LTH 认为，任何一个随机初始化的大型神经网络（密集网络）内部，都包含一个或多个稀疏子网络。这些子网络如果单独从原始权重初始化并训练，能够比完整网络更快、更好地收敛，达到相似的甚至更高的性能。LTH 将这些优秀的稀疏子网络比喻为中奖的“彩票”（Winning Ticket）。这意味着成功的关键不在于网络有多大，而在于在随机初始化中“抽中”了哪个具备优秀拓扑结构的子集。

研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用“后验结构知识”的过程： 首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过幅度剪枝（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个二值掩码（Binary Mask） 。 将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。 该方法之所以能消除泛化延迟，其核心机理包含两个方面： 拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。 解耦权重优化与结构优化：在标准训练中，模型需要同时进行参数值的优化和有效结构的筛选。应用掩码后，模型直接跳过了漫长的“结构搜索”阶段，使得训练准确率与测试准确率同步上升，从而消除了延迟泛化。

基于预训练或迁移的加速学习策略

1. 权重初始化

权重初始化的方法即用已顿悟的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结（不更新），以此研究不同任务间内部表示与算法的相似性，并显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。

2. 嵌入迁移

Xu等人提出的 GrokTransfer（我们称之为嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型中如何被表示和编码，也就是嵌入层。 嵌入迁移法的步骤可以简单理解为： 请教弱模型：首先，我们快速训练一个更小、更弱的模型。这个弱模型虽然无法达到完美性能，但它能以更快的速度学到一个初步但有效的数据结构地图（即数据的嵌入表示）。 知识迁移：接着，我们将这个弱模型学习到的、带有有效结构信息的嵌入层参数提取出来。用这些参数来初始化我们真正想要训练的那个更强大、更复杂的模型的嵌入层。 通过这种方式，强大的目标模型在训练之初就获得了高质量的嵌入，不再需要从零开始摸索数据间的潜在联系。它直接站在了弱模型的肩膀上，因此可以迅速从记忆阶段进入泛化阶段，大大加速甚至完全消除了原有的泛化延迟现象。

顿悟与其他现象的关联