81
个编辑
更改
跳到导航
跳到搜索
第41行：
第41行： − + 第87行：
第87行： − + − liu2022研究了初始超参数对顿悟的影响，例如Dropout，学习率，decay。通过扫描超参数，作者发现了模型学习的本质是编码器学习表征和解码器学习输出之间竞争的结果：“顿悟”相被夹在“理解”和“记忆”相之间，说明它是一种因超参数未调至最优而导致的、非理想的延迟泛化现象。+ + − （liu2023）通过分析Weight Norm提出了关于顿悟现象的另一种解释。训练损失与测试损失景观之间的不匹配是导致grokking的原因。两者在 w>wc区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化。在没有正则化的情况下，模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释grokking的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，成功在涉及图像、语言和分子的任务中诱导出grokking现象。逆向实验中，也能消除算法数据集上的grokking现象。为何"顿悟"现象不常见？标准初始化方案通常将权重 $w$的初始值设定为不超过临界值 $w_c$。但若（显式或隐式）增大初始化规模，则可能诱发顿悟现象。（在第3、4节中）发现显式增加权重范数的初始化会导致顿悟；（第5节）通过算法数据集论证+ − === 特征学习 ===+ + + + + + + + + + +
→参数空间： 1
=== 非算法任务 ===
=== 非算法任务 ===
Ziming Liu在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref>{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
Ziming Liu在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，Ziming Liu等人<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明：
'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。
'''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用LSTM模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。使用Adam优化器以0.001学习率最小化二元交叉熵损失，保留25%数据集用于测试。
=== 参数空间 ===
=== 参数空间 ===
研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。Weight Norms最近的研究将认为参数权重的L2 norm是结构顿悟的重要量【】。但总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。Merrill等人（2021年）证明了Transformer中的范数增长导致了注意力的饱和，这是新兴语言结构的重要特性。
研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。Weight Norms最近的研究也认为参数权重的L2 norm是结构顿悟的重要量。总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。通过分析Weight Norm，研究者提出了关于顿悟现象的一种解释：训练损失与测试损失景观之间的不匹配是导致顿悟的原因<ref name=":2" />。两者在权重范数 w>wc区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化，在没有正则化的情况下模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。
由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释grokking的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，研究者们成功在涉及图像、语言和分子的任务中诱导出了顿悟现象。
=== 特征学习 ===
而从训练动力学的角度探索模型，可将神经网络的训练动态分为两个阶段，惰性训练动态和丰富的特征学习动态。在惰性训练动态阶段，网络参数 w 几乎停留在初始点 w0附近，网络行为接近一个关于参数的线性模型：网络通过初始神经切线核（NTK）提供的特征来拟合数据，此时训练相当于进行一次固定核的核回归（Kernel Regression）。随着训练推进，参数更新幅度逐渐增大，网络不再保持线性近似。这时网络不再依赖初始NTK，而是通过学习生成新的特征空间，更好地捕捉数据的结构。
为了让训练发生从惰性到特征学习的转变，需要同时满足：
* 初始特征未对齐（misaligned NTK）：若初始NTK特征与任务标签方向接近，则惰性模型已能泛化，不会出现顿悟。
* 中等规模数据集
* 惰性初始（小步长 / 大α值）：训练初期参数变化缓慢，维持线性化状态，使得网络需较长时间才过渡到特征学习阶段。
这些条件共同导致训练曲线出现延迟分离和突然收敛的顿悟现象<ref><ref name="Kumar_grokking_dynamics">{{cite web | author1=Kumar T | author2=Bordelon B | author3=Gershman S J | author4=Pehlevan C | year=2024 | title=Grokking as the Transition from Lazy to Rich Training Dynamics | website=Twelfth International Conference on Learning Representations (ICLR) | url=https://openreview.net/forum?id=vt5mnLVIVo }}</ref></ref>。
== 促进顿悟的方法 ==
== 促进顿悟的方法 ==
促进顿悟这一系列研究旨在减少记忆与泛化之间的延迟效应，从而使模型更快泛化，从而也被叫做“消除顿悟”
=== 权重范数 ===
=== 权重范数 ===
其中的一个关键发现与权重范数有关——可以把它理解为模型参数的体积或规模。在可解释性部分的参数空间小节，我们讲过，研究者们任务存在一个“黄金泛化区”，当模型规模恰好处于这个区间时，最容易学到真本领。于是，他们想出了一个巧妙的办法：在训练期间，使用一种约束技术，将模型的体积始终固定在这个最佳区域附近<ref name=":2" />。这就好比直接为模型规划好了最佳的学习路径，让它无法绕远去死记硬背，从而被迫从一开始就寻找通用的解决方案，极大地缩短了从记忆到泛化的等待时间，实现了顿悟的消除。
=== 权重初始化 ===
=== 权重初始化 ===
=== 梯度分量增强 ===
=== 梯度分量增强 ===
=== 彩票假设掩码 ===
=== 彩票假设掩码 ===