81
个编辑
更改
→彩票假设掩码
<ref><ref name="Lee2024grokfast">{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients | website=arXiv | eprint=2405.20233 | archivePrefix=arXiv | primaryClass=cs.LG | url=https://arxiv.org/abs/2405.20233 }}</ref>。
<ref><ref name="Lee2024grokfast">{{cite web | author1=Lee, J. | author2=Kang, B. G. | author3=Kim, K. | author4=Lee, K. M. | year=2024 | title=Grokfast: Accelerated Grokking by Amplifying Slow Gradients | website=arXiv | eprint=2405.20233 | archivePrefix=arXiv | primaryClass=cs.LG | url=https://arxiv.org/abs/2405.20233 }}</ref>。
=== 彩票假设掩码 ===
=== 顿悟彩票（Grokking Ticket） ===
“顿悟彩票”（Grokking Ticket）这个名字非常巧妙，它桥接了两个重要的神经网络研究领域：Lottery Ticket Hypothesis (LTH, 彩票假设)和顿悟现象。LTH 认为，任何一个随机初始化的大型神经网络（密集网络）内部，都包含一个或多个稀疏子网络。这些子网络如果单独从原始权重初始化并训练，能够比完整网络更快、更好地收敛，达到相似的甚至更高的性能。LTH 将这些优秀的稀疏子网络比喻为中奖的“彩票”（Winning Ticket）。这意味着成功的关键不在于网络有多大，而在于在随机初始化中“抽中”了哪个具备优秀拓扑结构的子集。
研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用“后验结构知识”的过程：
首先将一个密集网络训练至完全泛化状态，此时网络内部的功能回路已经形成。通过幅度剪枝（Magnitude Pruning），保留权重绝对值较大的连接，将其拓扑结构固化为一个二值掩码（Binary Mask） 。
将此掩码应用于一个随机初始化的网络。这意味着在训练伊始，就强行约束了网络的拓扑结构，使其仅在被筛选出的特定子空间内进行优化。
该方法之所以能消除泛化延迟，其核心机理包含两个方面：
拓扑结构即泛化归纳偏置：实验表明，通过掩码锁定的稀疏子网络本身就编码了任务所需的良好表征（如模运算任务中的周期性特征）。这种特定的拓扑结构即使在权重随机初始化时，也具备了快速学习任务特征的能力。
解耦权重优化与结构优化：在标准训练中，模型需要同时进行参数值的优化和有效结构的筛选。应用掩码后，模型直接跳过了漫长的“结构搜索”阶段，使得训练准确率与测试准确率同步上升，从而消除了延迟泛化。
=== 知识迁移 ===
=== 知识迁移 ===