更改

'''n位k稀疏奇偶校验：'''这是一个典型离散搜索问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限 n^{O(k)} 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从 n 个比特中找出 k 个关键比特并计算它们的异或作为标签。

'''n位k稀疏奇偶校验：'''这是一个典型离散搜索问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限 n^{O(k)} 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从 n 个比特中找出 k 个关键比特并计算它们的异或作为标签。

'''5位数加法：'''输入两个随机生成的5位数（例如 12345 + 67890），模型需预测其和的每一位数字（如 80235 的 8,0,2,3,5）

'''5位数加法：'''该任务输入两个随机生成的5位数（例如 12345 + 67890），模型需预测其和的每一位数字（如 80235 的 8,0,2,3,5）。Nanda等人<ref name=":0" />在1层完整Transformer上训练700个样本的限制数据时出现顿悟。

'''重复子序列预测：'''生成均匀分布的随机符号序列，随机选择子序列进行重复，训练模型预测被重复的符号。（如 7,2,8,3, 1,9,3,8,3, 1,9,9,2,5，其中 1,9 为重复子序列）

'''重复子序列预测：'''该任务生成均匀分布的随机符号序列，随机选择子序列进行重复，训练模型预测被重复的符号。（如 7,2,8,3, 1,9,3,8,3, 1,9,9,2,5，其中 1,9 为重复子序列）。Nanda等人<ref name=":0" />在2层仅注意力Transformer上训练数据限制为512个样本时出现顿悟。

'''跳跃三元组：'''输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。（如 [0,3,15,7,...,2]，模型需输出该特殊token（如 15））

'''跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token（如 15）。Nanda等人<ref name=":0" />在1层仅注意力Transformer上训练数据限制为512个样本时出现顿悟。

=== 非算数任务 ===

=== 非算数任务 ===

(liu 2023)显式增加初始化权重范数会诱发顿悟现象（grokking）：

(liu 2022)首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集；并通过调整优化超参数实现了对顿悟的控制。

IMDb文本情感分析（Maas等人，2011）：包含5万条需分类为正面或负面的电影评论。数据预处理阶段，我们提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型（Hochreiter和Schmidhuber，1997）进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器（Kingma和Ba，2014）以0.001学习率最小化二元交叉熵损失。保留25%数据集用于测试。  

 

IMDb文本情感分析：包含5万条需分类为正面或负面的电影评论。数据预处理阶段，我们提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型（Hochreiter和Schmidhuber，1997）进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器（Kingma和Ba，2014）以0.001学习率最小化二元交叉熵损失。保留25%数据集用于测试。  

分子QM9：是小分子及其性质的数据库。我们采用图卷积神经网络（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。使用Adam优化器以0.001学习率最小化均方误差损失。数据集按50/50比例划分为训练集/测试集。

分子QM9：是小分子及其性质的数据库。我们采用图卷积神经网络（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。使用Adam优化器以0.001学习率最小化均方误差损失。数据集按50/50比例划分为训练集/测试集。

MNIST：我们在MNIST数据集上训练宽度200、深度3的ReLU多层感知机（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。

MNIST：我们在MNIST数据集上训练宽度200、深度3的ReLU多层感知机（MLP），采用均方误差损失。使用AdamW优化器，学习率0.001，批量大小200。

=== 大语言模型 ===

=== 大语言模型 ===

现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而本文首次基于7B参数大语言模型（LLM）OLMoE[15]的单次预训练过程展开研究。我们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能。我们的研究首次证实：grokking现象（顿悟式学习）在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。

现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Abramov等人<ref><ref name="Abramov_grokking_wild">{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref></ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。

== 顿悟现象的可解释性分析 ==

== 顿悟现象的可解释性分析 ==