更改

=== 顿悟的发现 ===

=== 顿悟的发现 ===

OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（<math>(a+b) \mod p = c</math>），测试了 Transformer 在未知的<math>a</math> 和 <math>b</math> 组合下能否正确预测答案<math>c</math>。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。

OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>，首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（<math>(a+b) \mod p = c</math>），测试了 Transformer 在未知的<math>a</math> 和 <math>b</math> 组合下能否正确预测答案<math>c</math>。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记忆所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着长时间继续训练它突然在未见过数据上变得准确，测试数据的准确率飙升到接近100%，这说明模型已经完全理解了运算规则。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。

 

== 相关基础知识 ==

== 相关基础知识 ==