“神经网络中的顿悟”的版本间的差异
跳到导航
跳到搜索
（建立内容为“神经网络中的顿悟”的新页面） |
（大纲） |
||
| 第1行： | 第1行： | ||
| − | + | 神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。 | |
| + | |||
| + | == 历史 == | ||
| + | |||
| + | === 相关基础知识 === | ||
| + | |||
| + | ==== 神经网络的记忆与泛化 ==== | ||
| + | |||
| + | ==== 神经网络中的涌现（emergent abilities） ==== | ||
| + | |||
| + | ==== 早停机制 ==== | ||
| + | |||
| + | === 顿悟的发现 === | ||
| + | |||
| + | == 顿悟的场景 == | ||
| + | |||
| + | === 模运算 === | ||
| + | |||
| + | === 其他数学运算 === | ||
| + | |||
| + | === 非算数任务 === | ||
| + | |||
| + | === 大语言模型 === | ||
| + | |||
| + | == 顿悟现象的可解释性分析 == | ||
| + | |||
| + | === 结构化表征 === | ||
| + | |||
| + | === 时钟和披萨算法 === | ||
| + | |||
| + | === 控制权之争 === | ||
| + | |||
| + | === 参数空间 === | ||
| + | |||
| + | === 损失函数景观 === | ||
| + | |||
| + | === 特征学习 === | ||
| + | |||
| + | |||
| + | == 促进顿悟的方法 == | ||
| + | |||
| + | === '''权重范数''' === | ||
| + | 将权重范数限制在球面半径内（Liu 等，2023） | ||
| + | |||
| + | === '''权重初始化''' === | ||
| + | 用“已顿悟”权重初始化（Furuta 等，2024）， | ||
| + | |||
| + | === '''梯度分量增强''' === | ||
| + | 增强特定梯度分量（Lee 等，2024）， | ||
| + | |||
| + | === '''彩票假设掩码''' === | ||
| + | |||
| + | === '''知识迁移''' === | ||
| + | |||
| + | == 顿悟与其他现象的关联 == | ||
| + | |||
| + | === 双降（double descent） === | ||
| + | |||
| + | === 大语言模型的能力涌现 === | ||
2025年9月27日 (六) 15:22的版本
神经网络中的顿悟（grokking）指的是，当神经网络在数据集上训练时，即使模型在训练集上已经表现出过拟合的迹象，只要我们持续训练，模型有可能突破一个临界点，从而获得更高的泛化性能。
历史
相关基础知识
神经网络的记忆与泛化
神经网络中的涌现（emergent abilities）
早停机制
顿悟的发现
顿悟的场景
模运算
其他数学运算
非算数任务
大语言模型
顿悟现象的可解释性分析
结构化表征
时钟和披萨算法
控制权之争
参数空间
损失函数景观
特征学习
促进顿悟的方法
权重范数
将权重范数限制在球面半径内（Liu 等，2023）
权重初始化
用“已顿悟”权重初始化（Furuta 等，2024），
梯度分量增强
增强特定梯度分量（Lee 等，2024），