81
个编辑
更改
→参数空间
=== 参数空间 ===
=== 参数空间 ===
研究人员对顿悟过程的参数空间进行了一系列的分析，以探索模型内部真实变化。最初科学家们发现，使用权重衰减的训练方式能显著提升嵌入的结构化程度<ref name="Power_grokking" />。Weight Norms最近的研究将认为参数权重的L2 norm是结构顿悟的重要量【】。但总体上来说，训练过程中范数（Norms）增长被作为神经网络泛化的关键因素之一进行了研究。Merrill等人（2021年）证明了Transformer中的范数增长导致了注意力的饱和，这是新兴语言结构的重要特性。
liu2022研究了初始超参数对顿悟的影响，例如Dropout，学习率，decay。通过扫描超参数，作者发现了模型学习的本质是编码器学习表征和解码器学习输出之间竞争的结果：“顿悟”相被夹在“理解”和“记忆”相之间，说明它是一种因超参数未调至最优而导致的、非理想的延迟泛化现象。
（liu2023）通过分析Weight Norm提出了关于顿悟现象的另一种解释。训练损失与测试损失景观之间的不匹配是导致grokking的原因。两者在 w>wc区域的不匹配导致快慢动力学机制，从而产生顿悟现象。在权重范数较大时，模型很容易过拟合训练数据，使得训练损失较低。只有在权重范数接近 “Goldilocks zone”时，测试损失才较低，模型泛化性能较好。如果模型权重范数初始化为较大值，模型会首先快速移动到一个过拟合的解，因为此时训练损失最小化。在没有正则化的情况下，模型会停留在过拟合的状态，因为训练损失在过拟合解的山谷中梯度几乎为零，泛化不会发生。由于训练损失和测试损失（相对于模型权重范数）通常分别呈现"L"形和"U"形，将其称为"LU机制"。这一简单机制可以很好地解释grokking的诸多特征：数据规模依赖性、权重衰减依赖性、表征的涌现等。基于这一直观图像，成功在涉及图像、语言和分子的任务中诱导出grokking现象。逆向实验中，也能消除算法数据集上的grokking现象。为何"顿悟"现象不常见？标准初始化方案通常将权重 $w$的初始值设定为不超过临界值 $w_c$。但若（显式或隐式）增大初始化规模，则可能诱发顿悟现象。（在第3、4节中）发现显式增加权重范数的初始化会导致顿悟；（第5节）通过算法数据集论证
=== 特征学习 ===
=== 特征学习 ===