81
个编辑
更改
跳到导航
跳到搜索
第145行：
第145行： − +
→顿悟彩票（Grokking Ticket）
=== 顿悟彩票（Grokking Ticket） ===
=== 顿悟彩票（Grokking Ticket） ===
“顿悟彩票”（Grokking Ticket）这个方法非桥接了两个重要的神经网络研究领域：Lottery Ticket Hypothesis (LTH, [[彩票假设]])和顿悟现象。LTH 认为，任何一个随机初始化的大型神经网络（密集网络）内部，都包含一个或多个稀疏子网络。这些子网络如果单独从原始权重初始化并训练，能够比完整网络更快、更好地收敛，达到相似的甚至更高的性能。LTH 将这些优秀的稀疏子网络比喻为中奖的“彩票”（Winning Ticket）。这意味着成功的关键不在于网络有多大，而在于在随机初始化中“抽中”了哪个具备优秀拓扑结构的子集。
“顿悟彩票”（Grokking Ticket）这个方法桥接了两个重要的神经网络研究领域：Lottery Ticket Hypothesis (LTH, [[彩票假设]])和顿悟现象。LTH 认为，任何一个随机初始化的大型神经网络（密集网络）内部，都包含一个或多个稀疏子网络。这些子网络如果单独从原始权重初始化并训练，能够比完整网络更快、更好地收敛，达到相似的甚至更高的性能。LTH 将这些优秀的稀疏子网络比喻为中奖的“彩票”（Winning Ticket）。这意味着成功的关键不在于网络有多大，而在于在随机初始化中“抽中”了哪个具备优秀拓扑结构的子集。
研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用后验结构知识的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：
研究者们认为顿悟的延迟现象，并非单纯在等待权重衰减降低参数范数，而是在高维参数空间中搜索并锁定一个具备泛化能力的稀疏子网络结构。所谓的“彩票假设掩码”方法，实际上是一种提取并利用后验结构知识的过程<ref>{{cite journal | author1=Minegishi G | author2=Iwasawa Y | author3=Matsuo Y | year=2023 | title=Bridging Lottery ticket and Grokking: Is Weight Norm Sufficient to Explain Delayed Generalization? | journal=arXiv preprint arXiv:2310.19470 | volume= | issue= | page= | url=https://arxiv.org/abs/2310.19470 }}</ref>：