81
个编辑
更改
→慢梯度增强(Slow Gradient Amplification)
=== 慢梯度增强(Slow Gradient Amplification) ===
=== 慢梯度增强(Slow Gradient Amplification) ===
这项名为 Grokfast 的研究发现，造成顿悟的原因在于梯度的频率特性：
这项名为 Grokfast 的研究发现，造成顿悟的原因在于梯度的频率特性：
快梯度（高频信号）：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。
快梯度（高频信号）：像噪音一样剧烈抖动，主要导致模型死记硬背训练数据 。
慢梯度（低频信号）：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。
慢梯度（低频信号）：像洋流一样缓慢且坚定，这才是推动模型理解通用规律的关键力量 。
该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通滤波器（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。
该方法的解决思路非常巧妙，即“滤噪存真”： 研究者把训练过程中的梯度看作随时间变化的信号。他们引入了一个简单的低通滤波器（Low-Pass Filter），过滤掉那些杂乱的快梯度，提取出代表长期趋势的慢梯度，并将其人为放大叠加回去。结果显示，这种慢梯度增强策略能让模型顿悟的速度提升 50 倍，只需几行代码即可实现，无需昂贵的算力堆叠。
<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients | website=arXiv | eprint=2405.20233 | archivePrefix=arXiv | primaryClass=cs.LG | url=https://arxiv.org/abs/2405.20233 }}</ref>。
<ref>{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients| eprint=2405.20233| url=https://arxiv.org/abs/2405.20233 }}</ref>。
=== 顿悟彩票（Grokking Ticket） ===
=== 顿悟彩票（Grokking Ticket） ===