81
个编辑
更改
跳到导航
跳到搜索
第40行：
第40行： − + 第54行：
第54行： − 尽管人工智能神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，其他人已经复制了这些结果，甚至进行了逆向工程。+ + + + + + + + + + + + + + + + + + + + + 第67行：
第87行： − 最近发表的研究论文不仅阐明了这些神经网络在“顿悟”时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 说：“‘顿悟’数据的设置就像是一个很好的模式生物，有助于理解深度学习的许多不同方面，”观察这个生物体内部有时会非常揭示；现就职于伦敦谷歌深度思维的 Neel Nanda 说：“你不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要”<ref><ref name="Quanta_grok_article">{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref></ref>。这些模型内部的结构化表征研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性。通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。+
→非算法任务
=== 非算法任务 ===
=== 非算法任务 ===
Ziming Liu在2022年<ref>{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref><ref name="Liu_omnigrok_iclr">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref></ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
Ziming Liu在2022年<ref>{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref>{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。
'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。
== 顿悟现象的可解释性分析 ==
== 顿悟现象的可解释性分析 ==
尽管人工智能神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，其他人已经复制了这些结果，甚至进行了逆向工程。最近发表的研究论文不仅阐明了这些神经网络在“顿悟”时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 说：“‘顿悟’数据的设置就像是一个很好的模式生物，有助于理解深度学习的许多不同方面，”观察这个生物体内部有时会非常揭示；现就职于伦敦谷歌深度思维的 Neel Nanda 说：“你不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要”<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性。通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
=== 时钟和披萨算法 ===
=== 时钟和披萨算法 ===
[[文件:Clock and pizza.png|缩略图|时钟与披萨算法示意图]]
Nanda 的工作重点是逆向工程训练好的网络，以弄清楚它学习了哪些算法<ref name=":0" />。他设计了一个更简单的 OpenAI 神经网络版本，以便在模型学习模块化算术时仔细检查其参数。他看到了相同的行为：过拟合逐渐让位于泛化，测试准确率突然提高。他的网络也在将数字排列成圆形。经过一番努力，南达最终弄清了原因。当将数字表示在圆形上时，网络并不是像看时钟的小学生那样简单地数数：它在进行一些复杂的数学操作。通过研究网络参数的值，南达和同事们发现，它通过对这些时钟数字进行“离散傅里叶变换”来相加——使用正弦和余弦等三角函数转换数字，然后利用三角恒等式对这些值进行操作以得出解决方案。
当麻省理工学院的刘子鸣团队继续研究Nanda的工作时，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。
麻省理工学院的刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，刘子鸣及其同事发现，这些网络发现的大约 40%的算法是披萨算法或时钟算法的变种。该团队目前还无法破译网络在其余时间所做的事情。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西，”刘说道。
=== 控制权之争 ===
=== 控制权之争 ===
[[文件:Ungrokking&semi.png|缩略图|预测并验证了两种新行为：逆顿悟（ungrokking）与半顿悟（semi-grokking）]]
研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值𝐷crit<ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。
并且，由于临界数据集规模𝐷crit决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足 𝐷 < 𝐷crit条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 𝐷 ≈ 𝐷crit时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美。
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图]]
进一步地，Huang等人<ref><ref name="Huang_unified_grokking">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref></ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型隐空间维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：
(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
(b) 记忆区(memorization)：小规模训练数据下，模型能完全记忆且记忆回路效率优于泛化机制，因此仅表现为对训练数据的记忆行为，验证精度始终为零；
(c) 半顿悟区(semi-grokking)：当训练数据量接近临界规模时，模型在完成全记忆后会表现出中等程度的泛化能力；
(d) 顿悟区(grokking)：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
=== 参数空间 ===
=== 参数空间 ===
=== 结构化表征 ===
=== 结构化表征 ===
== 促进顿悟的方法 ==
== 促进顿悟的方法 ==