81
个编辑
更改
跳到导航
跳到搜索
第8行：
第8行： + + 第13行：
第15行： + + 第28行：
第32行： + +
无编辑摘要
[[文件:图片一.png|none|缩略图|515x515px|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]
[[文件:图片一.png|none|缩略图|515x515px|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]
== 历史 ==
== 历史 ==
=== 顿悟的发现 ===
=== 顿悟的发现 ===
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（<math>(a+b) \mod p = c</math>），测试了 Transformer 在未知的<math>a</math> 和 <math>b</math> 组合下能否正确预测答案<math>c</math>。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记忆所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着长时间继续训练它突然在未见过数据上变得准确，测试数据的准确率飙升到接近100%，这说明模型已经完全理解了运算规则。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（<math>(a+b) \mod p = c</math>），测试了 Transformer 在未知的<math>a</math> 和 <math>b</math> 组合下能否正确预测答案<math>c</math>。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记忆所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着长时间继续训练它突然在未见过数据上变得准确，测试数据的准确率飙升到接近100%，这说明模型已经完全理解了运算规则。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
== 相关基础知识 ==
== 相关基础知识 ==
=== 早停机制（Early Stop） ===
=== 早停机制（Early Stop） ===
为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制，是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。
为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制，是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。
== 顿悟的场景 ==
== 顿悟的场景 ==