集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

神经网络中的顿悟 (查看源代码)

2025年10月16日 (四) 15:02的版本

添加2,251字节 、 2025年10月16日 (四) 15:02
→‎控制权之争
第1行： 第1行：  
神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。
 
神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。
 +
 
[[文件:图片一.png|缩略图|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]
 
[[文件:图片一.png|缩略图|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]
   第21行： 第22行：     
=== 模运算 ===
 
=== 模运算 ===
−
[[文件:二元运算.png|缩略图|发现顿悟现象的部分二元运算<ref>{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>]]
+
[[文件:二元运算.png|缩略图|发现顿悟现象的部分二元运算|替代=]]
 
最初关于模型顿悟的研究大多在transformer执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么使用模运算？是因为小型算法数据集在研究神经网络泛化能力方面具有重要作用。通过在这些数据集上进行实验，可以更显著地展现神经网络的泛化能力，因为在数据有限、规则清晰的情况下，模型需要更好地理解数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。
 
最初关于模型顿悟的研究大多在transformer执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么使用模运算？是因为小型算法数据集在研究神经网络泛化能力方面具有重要作用。通过在这些数据集上进行实验，可以更显著地展现神经网络的泛化能力，因为在数据有限、规则清晰的情况下，模型需要更好地理解数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。
   第40行： 第41行：     
=== 非算法任务 ===
 
=== 非算法任务 ===
−
Ziming Liu在2022年<ref>{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref>{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
+
Ziming Liu在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref>{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
    
'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。  
 
'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。  
第55行： 第56行：  
== 顿悟现象的可解释性分析 ==
 
== 顿悟现象的可解释性分析 ==
 
尽管人工智能神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，其他人已经复制了这些结果，甚至进行了逆向工程。最近发表的研究论文不仅阐明了这些神经网络在“顿悟”时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 说：“‘顿悟’数据的设置就像是一个很好的模式生物，有助于理解深度学习的许多不同方面，”观察这个生物体内部有时会非常揭示；现就职于伦敦谷歌深度思维的 Neel Nanda 说：“你不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要”<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性。通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
 
尽管人工智能神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，其他人已经复制了这些结果，甚至进行了逆向工程。最近发表的研究论文不仅阐明了这些神经网络在“顿悟”时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 说：“‘顿悟’数据的设置就像是一个很好的模式生物，有助于理解深度学习的许多不同方面，”观察这个生物体内部有时会非常揭示；现就职于伦敦谷歌深度思维的 Neel Nanda 说：“你不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要”<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性。通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
 +
[[文件:群运算和模加法运算的嵌入空间结构.png|缩略图|群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）]]
 +
 +
=== 结构化表征 ===
 +
OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用 t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如在模加法任务中，嵌入空间中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5​任务中，嵌入空间中出现了子群和陪集的结构，显示出网络对群结构的理解。尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。
 +
[[文件:随训练嵌入结构变化.png|缩略图|在模加法运算中，对模型的输入嵌入层在不同训练阶段的结构进行可视化，发现在泛化发生之前，嵌入点是混乱无结构的；而当泛化发生时，这些嵌入点突然形成了一个完美的圆形。]]
 +
刘子鸣在他们的论文<ref name=":1" />里更明确地指出，泛化的发生与输入嵌入高度结构化的出现直接相关。他们发现，在玩具模型（如加法）中，这种结构表现为嵌入向量形成平行四边形结构；在模运算中，表现为圆形结构。当且仅当模型学到了这种结构，它才能进行泛化。为了精确衡量结构化程度，他们还提出了一个可量化的指标——表征质量指数（RQI ）。RQI 衡量的是学习到的嵌入在多大程度上满足任务所要求的数学关系（例如，在加法中，检查有多少 <code>(i, j, m, n)</code> 四元组满足 <code>E_i + E_j = E_m + E_n</code>）。实验表明，RQI 与模型的泛化准确率高度一致，证实了结构化表征是泛化的直接原因。
    
=== 时钟和披萨算法 ===
 
=== 时钟和披萨算法 ===
第65行： 第72行：     
=== 控制权之争 ===
 
=== 控制权之争 ===
−
[[文件:Ungrokking&semi.png|缩略图|预测并验证了两种新行为：逆顿悟（ungrokking）与半顿悟（semi-grokking）]]
   
研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值𝐷crit<ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。
 
研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值𝐷crit<ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。
    
并且，由于临界数据集规模𝐷crit决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足 𝐷 < 𝐷crit条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 𝐷 ≈ 𝐷crit时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。
 
并且，由于临界数据集规模𝐷crit决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足 𝐷 < 𝐷crit条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 𝐷 ≈ 𝐷crit时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。
 
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图]]
 
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图]]
−
进一步地，Huang等人<ref><ref name="Huang_unified_grokking">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref></ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型隐空间维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：
+
进一步地，Huang等人<ref>{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型隐空间维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：
    
(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
 
(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
第81行： 第87行：     
=== 参数空间 ===
 
=== 参数空间 ===
 +
并且他们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度。（power）
 +
 +
liu2022通过扫描超参数，作者发现了模型学习的四个阶段，其本质是编码器（学习表征）和解码器（学习输出）之间竞争的结果：
 +
 +
理解：表征和学习都快，模型快速泛化。
 +
 +
顿悟：表征学习较慢，解码器学习较快，导致先过拟合再缓慢泛化。
 +
 +
记忆：解码器能力过强/学习过快，迅速过拟合，压制了结构化表征的形成。
 +
 +
混淆：解码器能力太弱，连训练集都无法拟合。
 +
 +
“顿悟”相被夹在“理解”和“记忆”相之间，说明它是一种因超参数未调至最优而导致的、非理想的延迟泛化现象。
    
=== 损失函数景观 ===
 
=== 损失函数景观 ===
    
=== 特征学习 ===
 
=== 特征学习 ===
−
  −
=== 结构化表征 ===
        第103行： 第120行：     
=== 大语言模型的能力涌现 ===
 
=== 大语言模型的能力涌现 ===
 +
 +
 
<references />
 
<references />
陶柯霏
81

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/47007”