81
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 神经网络中的顿悟+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
大纲
神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。
== 历史 ==
=== 相关基础知识 ===
==== 神经网络的记忆与泛化 ====
==== 神经网络中的涌现（emergent abilities） ====
==== 早停机制 ====
=== 顿悟的发现 ===
== 顿悟的场景 ==
=== 模运算 ===
=== 其他数学运算 ===
=== 非算数任务 ===
=== 大语言模型 ===
== 顿悟现象的可解释性分析 ==
=== 结构化表征 ===
=== 时钟和披萨算法 ===
=== 控制权之争 ===
=== 参数空间 ===
=== 损失函数景观 ===
=== 特征学习 ===
== 促进顿悟的方法 ==
=== '''权重范数''' ===
将权重范数限制在球面半径内（Liu 等，2023）
=== '''权重初始化''' ===
用“已顿悟”权重初始化（Furuta 等，2024），
=== '''梯度分量增强''' ===
增强特定梯度分量（Lee 等，2024），
=== '''彩票假设掩码''' ===
=== '''知识迁移''' ===
== 顿悟与其他现象的关联 ==
=== 双降（double descent） ===
=== 大语言模型的能力涌现 ===