81
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。+ − 我们可以用一个简单的例子帮助大家理解顿悟：假如一个小孩在学做数学题，在训练初期，他很快就记住了所有练习题（训练准确率100%），但完全不会做新题（测试准确率几乎是0%）。然而，再经过很长很长时间的训练，他突然灵光一现，测试准确率飙升到100%，他理解了背后的数学规则。这个从“死记硬背”到“真正理解”的突然转变，就被研究者们称为“顿悟”。[[文件:图片一.png|缩略图|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]+ + + + + 第7行：
第11行： − + − 神经网络的记忆指对训练数据的拟合能力，可以看作是神经网络“背诵”训练集数据的过程，记忆能使训练误差很低，但若过强会导致过拟合，只抓住噪声与偶然细节；泛化则是把从训练数据中学到的共性规律应用到未见样本上的能力，在验证集表现稳定、误差低。记忆与泛化两者需要平衡：既要有足够容量去拟合数据中存在的真实模式，又要通过正则化、早停、交叉验证等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的欠拟合。+ + − 顿悟是一种特殊的涌现现象，表现为泛化能力的突然跃升。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。+ − 通常情况下，人们在用神经网络构建机器学习模型时，倾向于在过拟合阶段前的某个点停止训练，称作早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮（耐心值）内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。+ 第20行：
第25行： + + 第28行：
第35行： − + + − + 第41行：
第49行： + 第49行：
第58行： − + 第87行：
第96行： − +
无编辑摘要
你是否经历过学习中的‘灵光一现’？其实，人工智能模型也有这样的时刻。
神经网络中的顿悟（grokking）指的是一种反直觉的现象：当模型在训练过程中看似已经“死记硬背”（过拟合）而无法处理新数据时，如果我们不停止训练、坚持让它继续“思考”，它可能会在某个临界点突然“开窍”，从而掌握数据背后的真实规律，实现泛化能力的飞跃。
我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。
然而，如果还要让他继续反复看这些题，经过漫长的枯燥过程后，由于某种原因，他突然理解了加法的原理。那一瞬间，他不仅能背出旧题，也能完美解决所有新题。这种从死记硬背到真正理解的延迟性突变，就是顿悟。[[文件:图片一.png|缩略图|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]
== 历史 ==
== 历史 ==
=== 相关基础知识 ===
=== 相关基础知识 ===
==== 神经网络的记忆与泛化 ====
==== 神经网络的记忆（Memory）与泛化（Generalization） ====
记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致“过拟合”。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过正则化、早停、交叉验证等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的欠拟合。
==== 神经网络中的涌现（Emergent Abilities） ====
==== 神经网络中的涌现（Emergent Abilities） ====
顿悟是一种特殊的涌现现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的非线性特征。
==== 早停机制（Early Stop） ====
==== 早停机制（Early Stop） ====
为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮（耐心值）内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。
=== 顿悟的发现 ===
=== 顿悟的发现 ===
== 顿悟的场景 ==
== 顿悟的场景 ==
起初，顿悟似乎只是简单数学玩具模型的一个特性，但随着研究深入，人们发现从图像识别到大语言模型，顿悟无处不在。
=== 模运算 ===
=== 模运算 ===
=== 其他算法任务 ===
=== 其他算法任务 ===
'''群运算：'''Chughtai 等人<ref>{{cite journal | author1=Chughtai B | author2=Chan L | author3=Nanda N | year=2023 | title=A toy model of universality: Reverse engineering how networks learn group operations | journal=International Conference on Machine Learning (ICML), PMLR | volume= | issue= | page= | url= }}</ref>训练MLP模型在阶数为<math>∣G∣=n</math>的有限群上执行群组合运算，发现MLP模型表现出"顿悟"现象。模型输入为有序对 <math>(a,b)</math>（其中<math>a, b \in G</math>），训练目标是预测群元素 <math>c=ab</math>。值得注意的是，Nanda等人<ref name=":0" />提出的任务是该任务的特例——因为模113加法运算等价于 113阶循环群的组合运算。
除了模运算，研究者还在以下数学任务中观察到了顿悟：
'''群运算（Group Operations）：'''这是模运算的推广。Chughtai 等人<ref>{{cite journal | author1=Chughtai B | author2=Chan L | author3=Nanda N | year=2023 | title=A toy model of universality: Reverse engineering how networks learn group operations | journal=International Conference on Machine Learning (ICML), PMLR | volume= | issue= | page= | url= }}</ref>训练MLP模型在阶数为<math>∣G∣=n</math>的有限群上执行群组合运算，发现模型表现出"顿悟"现象。模型输入为有序对 <math>(a,b)</math>（其中<math>a, b \in G</math>），训练目标是预测群元素 <math>c=ab</math>。值得注意的是，Nanda等人<ref name=":0" />提出的任务是该任务的特例——因为模113加法运算等价于113阶循环群的组合运算。
'''n位k稀疏奇偶校验：'''这是一个典型离散搜索问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限<math> n^{O(k)}</math> 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从<math> n </math>个比特中找出 <math>k </math>个关键比特并计算它们的异或作为标签。
'''n位k稀疏奇偶校验（Parity Check）：'''这是一个典型离散搜索问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限<math> n^{O(k)}</math> 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从<math> n </math>个比特中找出 <math>k </math>个关键比特并计算它们的异或作为标签。
2023年，Nanda等人<ref name=":0" />发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：
2023年，Nanda等人<ref name=":0" />发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：
=== 非算法任务 ===
=== 非算法任务 ===
顿悟不仅仅存在于完美的数学公式中。
Ziming Liu在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
Ziming Liu在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
'''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU多层感知机（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。
'''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU多层感知机（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。
除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现——使Transformer无需显式思维链提示或复杂外部框架即可执行复杂多步推理。
除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去“顿悟”，它就能自动学会进行多步推理。
=== 大语言模型 ===
=== 大语言模型 ===
=== 参数空间 ===
=== 参数空间 ===
研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。Weight Norms最近的研究也认为参数权重的L2 norm是结构顿悟的重要量。总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。通过分析Weight Norm，研究者提出了关于顿悟现象的一种解释：训练损失与测试损失景观之间的不匹配是导致顿悟的原因<ref name=":2" />。两者在权重范数 w>wc区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化，在没有正则化的情况下模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。
研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。Weight Norms最近的研究也认为参数权重的L2 norm是结构顿悟的重要量。总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。通过分析Weight Norm，研究者提出了关于顿悟现象的一种解释：训练损失与测试损失景观之间的不匹配是导致顿悟的原因<ref name=":2" />。两者在权重范数<math> w>w_c</math>区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化，在没有正则化的情况下模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。
由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释grokking的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。
由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释grokking的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。