81
个编辑
更改
跳到导航
跳到搜索
第74行：
第74行： − + 第90行：
第90行： − + 第175行：
第175行： − + 第184行：
第184行： − +
无编辑摘要
=== 结构化表征 ===
=== 结构化表征 ===
OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如下图所示，在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出网络对群结构的理解。
OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如下图所示，在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出网络对群结构的理解。左图为在S5上训练的网络输出层权重的t-SNE投影，可以观察到排列的聚类，每个聚类都是子群 <math>\langle (0,3)(1,4), (1,2)(3,4) \rangle</math>或其共轭子群的陪集。右图是在模加法上训练的网络输出层权重的t-SNE投影，线条表示每个元素加8的结果，颜色表示各元素模8的余数。模加法对应的圆环拓扑结构通过"将每个元素加8"形成的"数轴"得以呈现，这种结构在采用权重衰减优化的网络中表现得更为明显。
[[文件:群运算和模加法运算的嵌入空间结构.png|群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）|无框|664x664像素]]
[[文件:群运算和模加法运算的嵌入空间结构.png|群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）|无框|664x664像素]]
[[文件:Clock and pizza.png|时钟与披萨算法示意图|无框|664x664像素]]
[[文件:Clock and pizza.png|时钟与披萨算法示意图|无框|664x664像素]]
左侧为Clock算法，右侧为Pizza算法。两者均包含三个核心步骤：输入嵌入（Embed）、中间计算（MLP/Transformer）、输出预测（Unembed/Logit），但中间计算逻辑存在本质差异。时钟算法模拟时钟指针相加:将<math>a</math> 和<math>b</math> 对应的角度直接相加，得到和<math>a+b</math> 对应的角度，再映射到结果<math>c</math> 。披萨算法通过<math>a</math> 和<math>b</math> 的平均值向量所在的“披萨切片"区域判断结果。平均值向量的角度由<math>a+b</math> 决定，长度由<math>a-b</math> 决定。
刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，他们发现，这些网络中发现的大约40%的算法是披萨算法或时钟算法的变种，而目前还无法精确破译。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西。”刘说道。
刘子鸣说：“时钟算法和披萨算法都有这种循环表示，但是它们利用正弦和余弦的方式不同。这就是我们称它们为不同算法的原因。”而且这还不是全部。在训练多个网络进行模运算后，他们发现，这些网络中发现的大约40%的算法是披萨算法或时钟算法的变种，而目前还无法精确破译。对于披萨算法和时钟算法，“它只是碰巧找到了一些我们能人类解读的东西。”刘说道。
== 顿悟与其他现象的关联 ==
== 顿悟与其他现象的关联 ==
=== 双降（double descent） ===
=== [[双降（double descent）]] ===
Belkin等人<ref>{{cite journal | author1=Belkin M | author2=Hsu D | author3=Ma S | author4=Mandal S | year=2019 | title=Reconciling modern machine-learning practice and the classical bias–variance trade-off | journal=Proceedings of the National Academy of Sciences | volume=116 | issue=32 | page=15849–15854 | url=https://www.pnas.org/doi/full/10.1073/pnas.1903070116 }}</ref>提出的双下降（Double Descent）现象揭示了模型验证误差随规模变化的非单调模式：误差先下降，随后因过拟合噪声而上升，最终随着模型容量的进一步扩大而再次下降。Nakkiran等人<ref>{{cite journal | author1=Nakkiran P | author2=Kaplun G | author3=Bansal Y | author4=Yang T | author5=Barak B | author6=Sutskever I | year=2021 | title=Deep double descent: Where bigger models and more data hurt | journal=Journal of Statistical Mechanics: Theory and Experiment | volume=2021 | issue=12 | page=124003 | url=https://iopscience.iop.org/article/10.1088/1742-5468/ac3a74 }}</ref>进一步在多种架构下验证了这一现象，指出误差峰值往往出现在训练误差趋近于零的临界区间。
Belkin等人<ref>{{cite journal | author1=Belkin M | author2=Hsu D | author3=Ma S | author4=Mandal S | year=2019 | title=Reconciling modern machine-learning practice and the classical bias–variance trade-off | journal=Proceedings of the National Academy of Sciences | volume=116 | issue=32 | page=15849–15854 | url=https://www.pnas.org/doi/full/10.1073/pnas.1903070116 }}</ref>提出的双下降（Double Descent）现象揭示了模型验证误差随规模变化的非单调模式：误差先下降，随后因过拟合噪声而上升，最终随着模型容量的进一步扩大而再次下降。Nakkiran等人<ref>{{cite journal | author1=Nakkiran P | author2=Kaplun G | author3=Bansal Y | author4=Yang T | author5=Barak B | author6=Sutskever I | year=2021 | title=Deep double descent: Where bigger models and more data hurt | journal=Journal of Statistical Mechanics: Theory and Experiment | volume=2021 | issue=12 | page=124003 | url=https://iopscience.iop.org/article/10.1088/1742-5468/ac3a74 }}</ref>进一步在多种架构下验证了这一现象，指出误差峰值往往出现在训练误差趋近于零的临界区间。
Grokking 现象和双重下降现象可以被视为同一学习机制在不同条件下的表现。它们都源于一个共同的学习动态：神经网络的归纳偏置更倾向于选择那些泛化能力强但学习速度慢的模式，因此模型会经历一个从“快速学习但泛化差”的模式向“学习慢但泛化好”的模式过渡的过程。
Grokking 现象和双重下降现象可以被视为同一学习机制在不同条件下的表现。它们都源于一个共同的学习动态：神经网络的归纳偏置更倾向于选择那些泛化能力强但学习速度慢的模式，因此模型会经历一个从“快速学习但泛化差”的模式向“学习慢但泛化好”的模式过渡的过程。
=== 大语言模型的能力涌现 ===
=== [[大语言模型的能力涌现]] ===
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。
从记忆与泛化的竞争视角来看，纯记忆任务的存在会阻碍模型在记忆完所有训练数据后完全转向泛化阶段，因为纯记忆任务本身不存在泛化方法。然而，当模型规模达到足够大时，其记忆能力会显著超过训练数据量，从而实现对记忆与泛化等不同能力的功能分化。