神经网络中的顿悟
跳到导航
跳到搜索
神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。
历史
相关基础知识
神经网络的记忆与泛化
神经网络中的涌现（emergent abilities）
早停机制
顿悟的发现
顿悟的场景
模运算
其他数学运算
非算数任务
大语言模型
顿悟现象的可解释性分析
结构化表征
时钟和披萨算法
控制权之争
参数空间
损失函数景观
特征学习
促进顿悟的方法
权重范数
将权重范数限制在球面半径内（Liu 等，2023）
权重初始化
用“已顿悟”权重初始化（Furuta 等，2024），
梯度分量增强
增强特定梯度分量（Lee 等，2024），