142
个编辑
更改
跳到导航
跳到搜索
第11行：
第11行： − === 相关基础知识 === − + + + + + + + + − ==== 神经网络中的涌现（Emergent Abilities） ====+ − ==== 早停机制（Early Stop） ====+ − − === 顿悟的发现 === − OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
→历史
== 历史 ==
== 历史 ==
==== 神经网络的记忆（Memory）与泛化（Generalization） ====
=== 顿悟的发现 ===
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
== 相关基础知识 ==
=== 神经网络的记忆（Memory）与泛化（Generalization） ===
记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致[[过拟]]。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。
记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住所包含的噪声或偶然细节，导致[[过拟]]。泛化指模型将学到的规律应用到未见过的样本上的能力。这是机器学习的核心目标。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
=== 神经网络中的涌现（Emergent Abilities） ===
顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的非线性特征。
顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在大语言模型（LLM）发展时代，神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的非线性特征。
=== 早停机制（Early Stop） ===
为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。
为了防止过拟合，机器学习界长期遵循一个黄金法则：在验证集性能不再提升时停止训练。这种策略被称为早停机制。这是一种简单有效的正则化方法：在训练过程中持续监控验证集指标（如验证损失或准确率），当该指标在若干轮内不再改善即停止训练，以防模型在训练集上继续降低损失、却在验证集上开始恶化而产生过拟合。
== 顿悟的场景 ==
== 顿悟的场景 ==