81
个编辑
更改
跳到导航
跳到搜索
第16行：
第16行： − + + + + 第55行：
第58行： +
→模运算
=== 顿悟的发现 ===
=== 顿悟的发现 ===
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
OpenAI在ICLR2021数学推理workshop中发布的论文《Grokking: Generalization beyond overfitting on small algorithmic datasets》<ref name="Power_grokking">{{cite journal | author1=Power A | author2=Burda Y | author3=Edwards H | author4=Babuschkin I | author5=Misra V | year=2022 | title=Grokking: Generalization beyond overfitting on small algorithmic datasets | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2201.02177 }}</ref>首次引入了神经网络中的顿悟（grokking）概念。而顿悟现象的发现其实源于一个有趣的巧合：当 OpenAI 团队开始探索神经网络如何进行数学运算时，他们使用一个小型 Transformer来进行模加法运算（a+b mod p = c），测试了 Transformer 在 未知的a 和 b 组合下能否正确预测答案 c。正如预期，当网络进入过拟合状态时，训练数据的损失接近于零（它开始记住所见内容），而测试数据的损失开始上升，即神经网络没有泛化能力。然而，在一次实验中，负责训练神经网络的那位成员忘记了停止训练，随着继续训练它突然在未见过数据上变得准确，模型已经完全理解了运算规则，测试数据的准确率飙升到 100%。随后，团队使用不同的任务和不同的网络验证了结果，这一发现得到了证实。
== 顿悟的场景 ==
== 顿悟的场景 ==
=== 模运算 ===
=== 模运算 ===
最初关于模型顿悟的研究大多在模运算任务上进行<ref><ref name="Power_grokking" /></ref>。为什么使用模运算？是因为小型算法数据集在研究神经网络泛化能力方面具有重要作用。通过在这些数据集上进行实验，可以更显著地展现神经网络的泛化能力，因为在数据有限、规则清晰的情况下，模型需要更好地理解数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。
数据集由形如<nowiki><math>a \circ b mod p = c</math></nowiki>的方程组成，其中每个元素"<nowiki><math>a</math></nowiki>"、"<nowiki><math>\circ</math></nowiki>"、"<nowiki><math>b</math></nowiki>"、"<nowiki><math>mod</math></nowiki>"、"<nowiki><math>p</math></nowiki>"、"<nowiki><math>=</math></nowiki>"和"<nowiki><math>c</math></nowiki>"均为独立标记
=== 其他数学运算 ===
=== 其他数学运算 ===
=== 大语言模型的能力涌现 ===
=== 大语言模型的能力涌现 ===
<references />