81
个编辑
更改
无编辑摘要
=== 大语言模型 ===
=== 大语言模型 ===
现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人<ref>{{cite journal | author1=Li Z | author2=Fan C | author3=Zhou T | year=2025 | title=Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2506.21551 }}</ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。
现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人<ref>{{cite journal | author1=Li Z | author2=Fan C | author3=Zhou T | year=2025 | title=Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2506.21551 }}</ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。
== 顿悟现象的可解释性分析 ==
== 顿悟现象的可解释性分析 ==
尽管[[人工智能]]神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，很多人已经复现了这些结果，甚至进行了[[逆向工程]]。最近发表的研究论文不仅阐明了这些神经网络在顿悟时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 评价，顿悟现象中数据的设置就像是一个很好的模式生物，观察这个生物体内部有助于理解深度学习的许多不同方面。现就职于伦敦谷歌深度思维的 Neel Nanda 也认为，挖掘模型顿悟的内部原理，不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性.通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
尽管[[人工智能]]神经网络在各种任务中非常出色，但它们的内部机制仍然像过去一样难以理解。研究人员一直在寻找任何可以深入了解这些模型的线索。顿悟现象的发现促使了很多后续研究，很多人已经复现了这些结果，甚至进行了[[逆向工程]]。最近发表的研究论文不仅阐明了这些神经网络在顿悟时正在做什么，还提供了一个新的视角来审视它们的内部机制。麻省理工学院的 Eric Michaud 评价，顿悟现象中数据的设置就像是一个很好的模式生物，观察这个生物体内部有助于理解深度学习的许多不同方面。现就职于伦敦谷歌深度思维的 Neel Nanda 也认为，挖掘模型顿悟的内部原理，不仅能发现美丽的结构，而且这种美丽的结构对于理解内部发生的事情非常重要<ref>{{cite web | author=Pérez I | title=How Do Machines Grok Data? | website=Quanta Magazine | year=2024 | url=https://www.quantamagazine.org/how-do-machines-grok-data-20240412/ }}</ref>。这些模型内部表征的研究揭示了神经网络在处理复杂任务时的内部运作机制，进一步验证了顿悟现象的可重复性和可解释性.通过深入分析内部结构，科学家们能够更好地理解神经网络如何逐步构建和优化其认知模型，从而为未来的AI研究提供了宝贵的理论基础和实践指导。
=== 结构化表征 ===
=== 结构化表征 ===
刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，他们发现，这些网络中发现的大约40%的算法是披萨算法或时钟算法的变种，而目前还无法精确破译。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西。”刘说道。
刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，他们发现，这些网络中发现的大约40%的算法是披萨算法或时钟算法的变种，而目前还无法精确破译。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西。”刘说道。
=== 控制权之争 ===
=== 控制权之争 ===
(d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
(d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
=== 参数空间 ===
=== 参数空间 ===
== 促进顿悟的方法 ==
== 促进顿悟的方法 ==
促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”
促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”
=== 权重范数 ===
=== 权重范数 ===
The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和[[涌现]]），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。
The Quantization Model of Neural Scaling这篇文章<ref>{{cite journal | author1=Michaud E | author2=Liu Z | author3=Girit U | author4=Tegmark M | year=2023 | title=The quantization model of neural scaling | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=28699–28722 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/5a7b238722652b9632d43e5902302388-Abstract-Conference.html }}</ref>提供了一个非常漂亮的理论框架，解释了为什么学习曲线会呈现阶梯状（即包含顿悟和[[涌现]]），而不是平滑曲线。作者提出了“神经缩放的量子化模型”（QMNS），他们认为，复杂的任务是由许多离散的“子技能”（Quanta）组成的。随着模型规模或训练时间增加，模型并非一点点学好所有知识，而是按顺序攻克一个个子技能。每当模型彻底掌握一个关键子技能，即对该子技能发生顿悟，整体性能就会出现一次阶跃，表现为能力的阶段性涌现。将顿悟（时间的阶跃）和涌现（规模的阶跃）统一到了同一个离散特征学习的框架下。
=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===
=== 反思与批判：顿悟和涌现可能只是“度量的[[幻觉]]” ===
Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。
Schaeffer指出，所谓的“尖锐的涌现”或“突然的顿悟”，可能并非模型本身随规模增长而产生的本质变化<ref>{{cite journal | author1=Schaeffer R | author2=Miranda B | author3=Koyejo S | year=2023 | title=Are emergent abilities of large language models a mirage? | journal=Advances in Neural Information Processing Systems | volume=36 | issue= | page=55565–55581 | url=https://proceedings.neurips.cc/paper_files/paper/2023/hash/adc98a22ad1428e05ad1202c3c162636-Abstract-Conference.html }}</ref>，而是由于研究人员选择的评估指标（如准确率、完全匹配等非线性或不连续指标）对模型逐词错误率进行了[[非线性]]或不连续的缩放，从而在特定任务上制造出的假象；若改用线性或连续的指标（如词编辑距离、Brier分数），则模型性能会呈现平滑、连续、可预测的提升趋势，所谓的“涌现”现象也随之消失。这暗示顿悟和涌现可能并非模型内部发生了魔法般的突变，而是模型内部一直在进行平滑的渐进式学习，只是在越过某个阈值后，才被我们粗糙的指标捕捉到。
= 参考文献 =
= 参考文献 =
<references />
<references />