142
个编辑
更改
跳到导航
跳到搜索
第136行：
第136行： − + − +
→慢梯度增强(Slow Gradient Amplification)
这项名为 Grokfast 的研究发现造成顿悟的原因在于梯度的频率特性：
这项名为 Grokfast 的研究发现造成顿悟的原因在于梯度的频率特性：
* 快梯度（高频信号）：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。
* '''快梯度（高频信号）'''：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。
* 慢梯度（低频信号）：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。
* '''慢梯度（低频信号）'''：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。
该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>。
该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通[[滤波器]]（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>。