81
个编辑
更改
跳到导航
跳到搜索
第5行：
第5行： − 然而，如果还要让他继续反复看这些题，经过漫长的枯燥过程后，由于某种原因，他突然理解了加法的原理。那一瞬间，他不仅能背出旧题，也能完美解决所有新题。这种从死记硬背到真正理解的延迟性突变，就是顿悟。[[文件:图片一.png|缩略图|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]+ + + 第12行：
第14行： − 记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致“过拟合”。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。+ − + + 第19行：
第22行： − 为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮（耐心值）内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。+ − +
无编辑摘要
我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。
我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。
然而，如果还要让他继续反复看这些题，经过漫长的枯燥过程后，由于某种原因，他突然理解了加法的原理。那一瞬间，他不仅能背出旧题，也能完美解决所有新题。这种从死记硬背到真正理解的延迟性突变，就是顿悟。在神经网络中，体现为如下图所示的泛化延迟：
[[文件:图片一.png|515x515px|无框|顿悟现象的直观展示：训练和验证集上准确率曲线间的上升延迟]]
== 历史 ==
== 历史 ==
==== 神经网络的记忆（Memory）与泛化（Generalization） ====
==== 神经网络的记忆（Memory）与泛化（Generalization） ====
记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致[[过拟]]。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制[[过拟合]]。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
==== 神经网络中的涌现（Emergent Abilities） ====
==== 神经网络中的涌现（Emergent Abilities） ====
==== 早停机制（Early Stop） ====
==== 早停机制（Early Stop） ====
为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。
=== 顿悟的发现 ===
=== 顿悟的发现 ===
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
== 顿悟的场景 ==
== 顿悟的场景 ==