81
个编辑
更改
跳到导航
跳到搜索
第112行：
第112行： − + − 该方法的核心思想是，在模型训练过程中，每个参数的梯度都由两种变化模式组成：一种是快速变化的部分，它让模型快速记住训练数据（即过拟合）；另一种是缓慢变化的部分，它才真正引导模型学习通用的规律（即泛化）。为了让模型提前“顿悟”，我们设计了一个简单的操作：在每次参数更新时，不仅使用当前的梯度，还特意将过去一段时间内梯度的平均值（即缓慢变化的部分）放大后加进去。这样做的结果是，强化了那些对学习通用规律有益的缓慢信号，从而极大地缩短了模型从单纯记忆训练数据到真正学会通用规律所需的时间，让顿悟现象提前发生<ref><ref name="Lee2024grokfast">{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients | website=arXiv | eprint=2405.20233 | archivePrefix=arXiv | primaryClass=cs.LG | url=https://arxiv.org/abs/2405.20233 }}</ref></ref>。+ + + + + +
→梯度分量增强
权重初始化的方法即用“已顿悟”的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref><ref name="Furuta2024grokked_transformers">{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结（不更新），以此研究不同任务间内部表示与算法的相似性，并显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。
权重初始化的方法即用“已顿悟”的模型部件来给新模型“开小灶”，由于拥有更多先验知识，模型得以提前顿悟<ref><ref name="Furuta2024grokked_transformers">{{cite journal | author1=Furuta, H. | author2=Minegishi, G. | author3=Iwasawa, Y. | author4=Matsuo, Y. | year=2024 | title=Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials | journal=Transactions on Machine Learning Research | volume= | issue= | pages= | issn=2835-8856 | url=https://openreview.net/forum?id=MzSf70uXJO | doi= }}</ref>。方法的具体步骤如下：首先在简单任务（如模加法）上预训练一个Transformer直到其顿悟，然后将其组件（嵌入层或整个Transformer主体）取出，作为新模型在相关任务（如模减法、线性表达式）对应组件的初始化权重，并在后续训练中保持这些权重冻结（不更新），以此研究不同任务间内部表示与算法的相似性，并显著加速新任务的顿悟过程。但该方法的成功高度依赖于源任务和目标任务之间的相似性，对于更复杂的操作，简单移植基础算术的组件可能不足以提供有效的先验知识，复杂任务可能需要发现全新的、更复杂的算法。
=== 梯度分量增强 ===
=== 慢梯度增强(Slow Gradient Amplification) ===
这项名为 Grokfast 的研究发现，造成顿悟的原因在于梯度的频率特性：
快梯度（高频信号）：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。
慢梯度（低频信号）：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。
该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通滤波器（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。
<ref><ref name="Lee2024grokfast">{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients | website=arXiv | eprint=2405.20233 | archivePrefix=arXiv | primaryClass=cs.LG | url=https://arxiv.org/abs/2405.20233 }}</ref>。
=== 彩票假设掩码 ===
=== 彩票假设掩码 ===