81
个编辑
更改
跳到导航
跳到搜索
第76行：
第76行： − + 第101行：
第101行： − + + +
→顿悟现象的可解释性分析
OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如下图所示，在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出网络对群结构的理解。左图为在S5上训练的网络输出层权重的t-SNE投影，可以观察到排列的聚类，每个聚类都是子群 <math>\langle (0,3)(1,4), (1,2)(3,4) \rangle</math>或其共轭子群的陪集。右图是在模加法上训练的网络输出层权重的t-SNE投影，线条表示每个元素加8的结果，颜色表示各元素模8的余数。模加法对应的圆环拓扑结构通过"将每个元素加8"形成的"数轴"得以呈现，这种结构在采用权重衰减优化的网络中表现得更为明显。
OpenAI团队在发现顿悟最初就对模型输出层的权重进行了可视化（使用t-SNE），发现网络学到的符号嵌入中出现了可识别的数学结构<ref name="Power_grokking" />，例如下图所示，在模加法任务中，[[嵌入空间]]中出现了圆形拓扑结构，表现出模运算的循环性质；在对称群S5任务中，嵌入空间中出现了[[子群]]和[[陪集]]的结构，显示出网络对群结构的理解。左图为在S5上训练的网络输出层权重的t-SNE投影，可以观察到排列的聚类，每个聚类都是子群 <math>\langle (0,3)(1,4), (1,2)(3,4) \rangle</math>或其共轭子群的陪集。右图是在模加法上训练的网络输出层权重的t-SNE投影，线条表示每个元素加8的结果，颜色表示各元素模8的余数。模加法对应的圆环拓扑结构通过"将每个元素加8"形成的"数轴"得以呈现，这种结构在采用权重衰减优化的网络中表现得更为明显。
[[文件:群运算和模加法运算的嵌入空间结构.png|群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）|无框|664x664像素]]
[[文件:群运算和模加法运算的嵌入空间结构.png|群运算和模加法运算的嵌入空间结构（左：群运算，右：模加法运算）|无框|764x764像素]]
尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。
尽管输入是无内在结构的符号（如字母、数字代号），网络仍能从它们的交互中推断出结构，并形成有意义的嵌入表示，这表明神经网络不仅能记忆训练数据，还能从有限样本中归纳出抽象关系。
进一步地，Huang等人<ref name=":13">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态，如下图所示：
进一步地，Huang等人<ref name=":13">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态，如下图所示：
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|不同配置与训练数据量下模型表现出的动态差异与相图|无框|664x664像素]]
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|不同配置与训练数据量下模型表现出的动态差异与相图|764x764像素]]
左图展示了随着模型规模增大而提升的记忆能力与降低的临界数据集规模，可以将图像划分为四个区域——渐进区、记忆区、半顿悟区和顿悟区。每个区域对应右侧展示的特定训练动态特征，关键交点处标注了估计值。各子图呈现特定训练动态如下：
(a) '''渐进区(progressing)'''：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
(a) '''渐进区(progressing)'''：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；