神经网络中的顿悟 - 版本历史

2026年1月9日 (五) 07:37 王志鹏

2026-01-09T07:37:53Z

陶柯霏：/* 模运算 */

2026-01-06T08:18:13Z

模运算

陶柯霏：/* 模运算 */

2026-01-06T08:13:03Z

模运算

2026年1月6日 (二) 08:00 陶柯霏

2026-01-06T08:00:05Z

陶柯霏：/* 参数空间 */

2026-01-06T07:45:22Z

参数空间

陶柯霏：/* 顿悟现象的可解释性分析 */

2026-01-06T04:52:39Z

顿悟现象的可解释性分析

2026年1月6日 (二) 04:43 陶柯霏

2026-01-06T04:43:01Z

陶柯霏：/* 顿悟的场景 */

2026-01-06T04:41:41Z

顿悟的场景

陶柯霏：/* 其他算法任务 */

2026-01-06T04:36:44Z

其他算法任务

陶柯霏：/* 顿悟的场景 */

2026-01-06T03:48:57Z

顿悟的场景

←上一版本		2026年1月9日 (五) 07:37的版本
第224行：		第224行：
	= 参考文献 =		= 参考文献 =
	<references />		<references />
		+
		+	----
		+	此词条由[[陶柯霏]]编写，[[张江]]、[[王志鹏]]整理和审校。
		+
		+
		+	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第42行： / 第42行： @@
 最初关于模型顿悟的研究大多在[[Transformer]]执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么选择用模运算任务？是因为小型算法数据集在研究神经网络泛化能力上具有重要作用：它构成了一个代数结构严密且特征独立的小样本空间，且具有强烈的离散性；在数据有限、规则清晰的情况下，模型必须理解隐藏在数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。因此，模运算成为了观察模型从“机械记忆”向“算法泛化”转变的最佳受控实验场，能清晰地展示泛化能力突变的动态过程。
-模运算数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token。由于通常只有<math>a,b,c</math>三个变量，<math><c>=<a><op><b><mod><p></math>，其中<math><op></math>是运算符。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非偶然的个例，而是一个真实存在的规律：
+模运算数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token，可写作<math><c>=<a><op><b><mod><p></math>，其中<math><op></math>是运算符，通常在一个任务中只有<math>a,b,c</math>三个数字变量，也有研究试验了对于不同运算符的泛化效果。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非偶然的个例，而是一个真实存在的规律：
 [[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]

@@ 第42行： / 第42行： @@
 最初关于模型顿悟的研究大多在[[Transformer]]执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么选择用模运算任务？是因为小型算法数据集在研究神经网络泛化能力上具有重要作用：它构成了一个代数结构严密且特征独立的小样本空间，且具有强烈的离散性；在数据有限、规则清晰的情况下，模型必须理解隐藏在数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。因此，模运算成为了观察模型从“机械记忆”向“算法泛化”转变的最佳受控实验场，能清晰地展示泛化能力突变的动态过程。
-模运算数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token。由于通常只有<math>a,b,c</math>三个变量，<math><c>=<a><op><b></math>，其中<math><op></math>是运算符。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非偶然的个例，而是一个真实存在的规律：
+模运算数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token。由于通常只有<math>a,b,c</math>三个变量，<math><c>=<a><op><b><mod><p></math>，其中<math><op></math>是运算符。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非偶然的个例，而是一个真实存在的规律：
 [[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]
 === 其他算法任务 ===

@@ 第133行： / 第133行： @@
 由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，人们将其称为"LU机制"。这一简单机制可以很好地解释顿悟的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。
 === 特征学习 ===
@@ 第144行： / 第145行： @@
 这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象<ref>{{cite web | author1=Kumar T | author2=Bordelon B | author3=Gershman S J | author4=Pehlevan C | year=2024 | title=Grokking as the Transition from Lazy to Rich Training Dynamics | website=Twelfth International Conference on Learning Representations (ICLR) | url=https://openreview.net/forum?id=vt5mnLVIVo }}</ref>。
 == 促进顿悟的方法 ==
-促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”
+促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”。
 === 权重范数 ===
-其中的一个关键发现与权重范数有关——可以把它理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们任务存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近<ref name=":2" />。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。
+其中的一个关键发现与权重范数有关，可以理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们认为存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近<ref name=":2" />。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。
 === 慢梯度增强(Slow Gradient Amplification) ===
-这项名为 Grokfast 的研究发现造成顿悟的原因在于梯度的频率特性：
+这项名为 Grokfast 的研究发现造成顿悟的原因在于梯度的频率特性<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>：
-* '''快梯度（高频信号）'''：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。
+* '''快梯度（高频信号）'''：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据。
-* '''慢梯度（低频信号）'''：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。
+* '''慢梯度（低频信号）'''：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量。
-该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>。
+该方法的解决思路非常巧妙，即“滤噪存真”：把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。
@@ 第168行： / 第171行： @@
 研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用后验结构知识的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：
-首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过[[幅度剪枝]]（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个[[二值掩码]]（Binary Mask） 。将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。该方法之所以能消除泛化延迟，其核心机理包含两个方面：
+首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过[[幅度剪枝]]（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个[[二值掩码]]（Binary Mask），然后将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。该方法之所以能消除泛化延迟，其核心机理包含两个方面：
 * 拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。
@@ 第178行： / 第181行： @@
 '''1. 权重初始化'''
-权重初始化的方法即用已顿悟的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref>{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结（不更新），以此研究不同任务间内部表示与算法的相似性，并显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。
+权重初始化的方法即用已顿悟的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref>{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结，以此利用不同任务间内部表示与算法的相似性，显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。
 '''2. 嵌入迁移'''
-Xu等人提出的 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型中如何被表示和编码，也就是嵌入层。
+Xu等人提出了 GrokTransfer<ref>{{cite journal | author1=Xu Z | author2=Ni Z | author3=Wang Y | author4=Hu W | year=2025 | title=Let me grok for you: Accelerating grokking via embedding transfer from a weaker model | journal=arXiv preprint arXiv:2504.13292 | volume= | issue= | page= | url=https://arxiv.org/abs/2504.13292 }}</ref>（嵌入迁移法），提供了消除延迟泛化的一个简洁而强大的解决方案。其核心洞察是：决定模型能否快速泛化的关键，在于它对输入数据的初始理解，即数据在模型嵌入层中如何被表示和编码。
 嵌入迁移法的步骤可以简单理解为：
@@ 第198行： / 第201行： @@
 Belkin等人<ref>{{cite journal | author1=Belkin M | author2=Hsu D | author3=Ma S | author4=Mandal S | year=2019 | title=Reconciling modern machine-learning practice and the classical bias–variance trade-off | journal=Proceedings of the National Academy of Sciences | volume=116 | issue=32 | page=15849–15854 | url=https://www.pnas.org/doi/full/10.1073/pnas.1903070116 }}</ref>提出的双下降（Double Descent）现象揭示了模型验证误差随规模变化的非单调模式：误差先下降，随后因过拟合噪声而上升，最终随着模型容量的进一步扩大而再次下降。Nakkiran等人<ref>{{cite journal | author1=Nakkiran P | author2=Kaplun G | author3=Bansal Y | author4=Yang T | author5=Barak B | author6=Sutskever I | year=2021 | title=Deep double descent: Where bigger models and more data hurt | journal=Journal of Statistical Mechanics: Theory and Experiment | volume=2021 | issue=12 | page=124003 | url=https://iopscience.iop.org/article/10.1088/1742-5468/ac3a74 }}</ref>进一步在多种架构下验证了这一现象，指出误差峰值往往出现在训练误差趋近于零的临界区间。
-近期研究致力于将双下降现象与顿悟现象联系起来。Davies等人<ref>{{cite journal | author1=Davies X | author2=Langosco L | author3=Krueger D | year=2023 | title=Unifying grokking and double descent | journal=arXiv preprint arXiv:2303.06173 | volume= | issue= | page= | url=https://arxiv.org/abs/2303.06173 }}</ref>提出了一种基于“规模-时间”对偶性的假说，认为两者本质上反映了模型对不同复杂度模式的学习速率差异：模型倾向于先快速拟合简单的虚假相关性（导致第一次下降后回升），只有在长时间训练或更大规模下，才能掌握复杂的泛化模式（导致第二次下降，即顿悟）。
+近期研究致力于将双下降现象与顿悟现象联系起来。Davies等人<ref>{{cite journal | author1=Davies X | author2=Langosco L | author3=Krueger D | year=2023 | title=Unifying grokking and double descent | journal=arXiv preprint arXiv:2303.06173 | volume= | issue= | page= | url=https://arxiv.org/abs/2303.06173 }}</ref>提出了一种基于“规模-时间”对偶性的假说，认为两者本质上反映了模型对不同复杂度模式的学习速率差异：模型倾向于先快速拟合简单的虚假相关性（导致第一次下降后回升），只有在长时间训练或更大规模下，才能掌握复杂的泛化模式（导致第二次下降，也即顿悟）。
 具体而言，这种关联的表现形式受限于训练数据量。当数据量不足（低于特定临界点）时，模型随规模扩大会经历“渐进期—记忆期—半顿悟期—顿悟期”四个阶段，其中“记忆期”的性能恶化直接对应双下降的峰值；反之，当数据量充足时，模型能够跳过记忆期带来的负面影响，直接从渐进期过渡到顿悟期，表现为泛化性能的单调提升。
@@ 第206行： / 第209行： @@
 === [[大语言模型的涌现能力]] ===
-从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
+从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，它可以在记住大量信息的同时，借助其强大的内存能力去总结和学习出泛化的规律，从而表现出记忆与泛化等功能分化。
 该现象与当前大语言模型（LLM）中观察到的涌现能力相呼应——由于预训练阶段也可视为多任务学习场景，模型必须在保留海量世界知识的同时，习得上下文学习和多步推理等通用规则与能力。这一观察也阐释了Huang等人提出的假设<ref name=":13" />：涌现能力是通过不同神经回路的竞争形成的。尽管当前LLM的能力涌现由诸多复杂因素驱动，顿悟研究将为理解LLM的涌现能力提供新视角，并推动该领域的进一步研究。
@@ 第216行： / 第219行： @@
 === 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===
-Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。
+Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。这提示我们需要从不同角度审视与探讨顿悟现象。

@@ 第128行： / 第128行： @@
 === 参数空间 ===
-研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。权重范数（Weight Norms）最近的研究也认为参数权重的L2 norm是结构顿悟的重要量。总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。通过分析权重范数，研究者提出了关于顿悟现象的一种解释：
+研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。权重范数（Weight Norms）最近的研究也认为参数权重的L2 norm是结构顿悟的重要量。总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。通过分析权重范数，研究者也提出了关于顿悟现象的解释：
-训练损失与测试损失景观之间的不匹配是导致顿悟的原因<ref name=":2" />。两者在权重范数<math> w>w_c</math>区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化，在没有正则化的情况下模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。
+研究者认为，训练损失与测试损失景观之间的不匹配是导致顿悟的原因<ref name=":2" />。两者在权重范数<math> w>w_c</math>区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近“Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化，在没有正则化的情况下模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。
 === 特征学习 ===

@@ 第82行： / 第82行： @@
 == 顿悟现象的可解释性分析 ==
-尽管[[人工智能]]神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，很多人已经复现了这些结果，甚至进行了[[逆向工程]]。最近发表的研究论文不仅阐明了这些神经网络在顿悟时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 评价，顿悟现象中数据的设置就像是一个很好的模式生物，观察这个生物体内部有助于理解深度学习的许多不同方面。现就职于伦敦谷歌深度思维的 Neel Nanda 也认为，挖掘模型顿悟的内部原理，不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性.通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
+尽管[[人工智能]]神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，很多人已经复现了这些结果，甚至进行了[[逆向工程]]。最近发表的研究论文不仅阐明了这些神经网络在顿悟时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 评价，顿悟现象中数据的设置就像是一个很好的模式生物，观察这个生物体内部有助于理解深度学习的许多不同方面。现就职于伦敦谷歌深度思维的 Neel Nanda 也认为，挖掘模型顿悟的内部原理，不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性。通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
 === 结构化表征 ===
-OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如下图所示，在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出网络对群结构的理解。
+OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如下图所示，在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出神经网络对群结构的理解。
 [[文件:群运算和模加法运算的嵌入空间结构.png|none|缩略图|群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）。左图为在S5群运算上训练的网络输出层权重的t-SNE投影，可以观察到排列的聚类，每个聚类都是子群 <math>\langle (0,3)(1,4), (1,2)(3,4) \rangle</math>或其共轭子群的陪集。右图是在模加法上训练的网络输出层权重的t-SNE投影，线条表示每个元素加8的结果，颜色表示各元素模8的余数。模加法对应的圆环拓扑结构通过"将每个元素加8"形成的"数轴"得以呈现，这种结构在采用权重衰减优化的网络中表现得更为明显。
 |764x764像素]]
-尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。
+尽管对于神经网络来说，输入是无内在先验结构与意义的符号，网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。
 刘子鸣在他们的论文<ref name=":1" />里更明确地指出，泛化的发生与输入嵌入高度结构化的出现直接相关。他们发现，在玩具模型中，这种结构表现为嵌入向量形成平行四边形结构；在模运算中，表现为圆形结构。当且仅当模型学到了这种结构，它才能进行泛化。为了精确衡量结构化程度，他们还提出了一个可量化的指标——表征质量指数（RQI）。RQI 衡量的是学习到的嵌入在多大程度上满足任务所要求的数学关系（例如，在加法中，检查有多少 <math>(i, j, m, n)</math> 四元组满足 <math>E_i + E_j = E_m + E_n</math>）。实验表明，RQI 与模型的泛化准确率高度一致，证实了结构化表征是泛化的直接原因。
@@ 第96行： / 第96行： @@
 === 时钟和披萨算法 ===
-Nanda 的工作重点是逆向工程训练好的网络，以弄清楚它学习了哪些算法<ref name=":0" />。他设计了一个更简单的 OpenAI 神经网络版本，以便在模型学习模块化算术时仔细检查其参数。他观察到了相同的行为：过拟合逐渐让位于泛化，测试准确率突然提高。他的网络也在将数字排列成圆形。
+Nanda 的工作重点是逆向工程训练好的神经网络，以弄清楚它学习了哪些算法<ref name=":0" />。他设计了一个更简单的神经网络版本，以便在模型学习模块化算术时仔细检查其参数。他观察到了相同的行为：过拟合逐渐让位于泛化，测试准确率突然提高。他的网络也在将数字排列成圆形。
-经过一番努力，Nanda最终弄清了原因。当将数字表示在圆形上时，网络并不是像看时钟的小学生那样简单地数数：它在进行一些复杂的数学操作。通过研究网络参数的值，Nanda和同事们发现，它通过对这些时钟数字进行“[[离散傅里叶变换]]”来相加——使用正弦和余弦等三角函数转换数字，然后利用三角恒等式对这些值进行操作以得出解决方案。
+经过一番努力，Nanda最终弄清了原因。当将数字表示在圆形时钟上时，网络并不是像看时钟的小学生那样简单地数数，而是在进行一些复杂的数学操作。通过研究网络参数的值，Nanda和同事们发现，它通过对这些时钟数字进行“[[离散傅里叶变换]]”来相加——使用正弦和余弦等三角函数转换数字，然后利用三角恒等式对这些值进行操作以得出解决方案。
-麻省理工学院的刘子鸣团队继续研究了Nanda的工作，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。时钟和披萨算法的原理如下图所示：
+刘子鸣团队继续研究了Nanda的工作，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与时钟方法一样精确。时钟和披萨算法的原理如下图所示：
 [[文件:披萨和时钟.png|none|缩略图|时钟与披萨算法示意图。左侧为Clock算法，右侧为Pizza算法。两者均包含三个核心步骤：输入嵌入（Embed）、中间计算（MLP/Transformer）、输出预测（Unembed/Logit），但中间计算逻辑存在本质差异。时钟算法模拟时钟指针相加:将<math>a</math> 和<math>b</math> 对应的角度直接相加，得到和<math>a+b</math> 对应的角度，再映射到结果<math>c</math> 。披萨算法通过<math>a</math> 和<math>b</math> 的平均值向量所在的“披萨切片"区域判断结果。平均值向量的角度由<math>a+b</math> 决定，长度由<math>a-b</math> 决定。|764x764像素]]
@@ 第108行： / 第108行： @@
 === 控制权之争 ===
-研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值<math>𝐷_{\text{crit}}</math><ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。
+研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制，和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值<math>𝐷_{\text{crit}}</math><ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”，这个问题在其他机器学习研究中也出现过。
 并且，由于临界数据集规模<math>𝐷_{\text{crit}}</math>决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足<math>𝐷 < 𝐷_{\text{crit}}</math>条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 <math>𝐷 ≈ 𝐷_{\text{crit}}</math>时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。
@@ 第145行： / 第145行： @@
 这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象<ref>{{cite web | author1=Kumar T | author2=Bordelon B | author3=Gershman S J | author4=Pehlevan C | year=2024 | title=Grokking as the Transition from Lazy to Rich Training Dynamics | website=Twelfth International Conference on Learning Representations (ICLR) | url=https://openreview.net/forum?id=vt5mnLVIVo }}</ref>。
 == 促进顿悟的方法 ==

@@ 第78行： / 第78行： @@
 === 大语言模型 ===
 现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人<ref>{{cite journal | author1=Li Z | author2=Fan C | author3=Zhou T | year=2025 | title=Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2506.21551 }}</ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。
 == 顿悟现象的可解释性分析 ==
 尽管[[人工智能]]神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，很多人已经复现了这些结果，甚至进行了[[逆向工程]]。最近发表的研究论文不仅阐明了这些神经网络在顿悟时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 评价，顿悟现象中数据的设置就像是一个很好的模式生物，观察这个生物体内部有助于理解深度学习的许多不同方面。现就职于伦敦谷歌深度思维的 Neel Nanda 也认为，挖掘模型顿悟的内部原理，不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性.通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
 === 结构化表征 ===
@@ 第102行： / 第105行： @@
 刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，他们发现，这些网络中发现的大约40%的算法是披萨算法或时钟算法的变种，而目前还无法精确破译。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西。”刘说道。
 === 控制权之争 ===
@@ 第121行： / 第125行： @@
 (d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
 === 参数空间 ===
@@ 第145行： / 第150行： @@
 == 促进顿悟的方法 ==
 促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”
 === 权重范数 ===
@@ 第210行： / 第216行： @@
 The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和[[涌现]]），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。
 === 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===
 Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。
 = 参考文献 =
 <references />

@@ 第62行： / 第62行： @@
 '''5. 跳跃三元组（skip trigram）：'''该任务的输入是由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
 === 非算法任务 ===
-顿悟不仅仅存在于完美的数学公式中，刘子鸣团队在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，他们发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>：
+顿悟不仅仅存在于完美的数学公式中，刘子鸣团队在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集；并通过调整优化超参数能够实现对顿悟的控制，发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上得到了证明<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>：
-* '''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用[[LSTM]]模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。
+* '''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。采用[[LSTM]]模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。
-* '''分子QM9任务'''：该数据是小分子及其性质的数据库。采用[[图卷积神经网络]]（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。数据集按50/50比例划分为训练集/测试集。
+* '''分子QM9任务'''：该数据是小分子及其性质的数据库。采用[[图卷积神经网络]]（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。
 * '''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU[[多层感知机]]（MLP），采用均方误差损失。
-除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去顿悟，它就能自动学会进行多步推理。
+除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中，实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去顿悟，它就能自动学会进行多步推理。

@@ 第61行： / 第61行： @@
 '''4. 重复子序列预测：'''该任务生成均匀分布的随机符号序列，随机选择子序列进行重复，训练模型预测被重复的符号（如 7,2,8,3, 1,9,3,8,3, 1,9,9,2,5，其中 1,9 为重复子序列）。在2层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，形成归纳头后直接泛化。
-'''5. 跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
+'''5. 跳跃三元组（skip trigram）：'''该任务的输入是由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
 === 非算法任务 ===