更改

=== 模运算 ===

=== 模运算 ===

最初关于模型顿悟的研究大多在Transformer执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么使用模运算？是因为小型算法数据集在研究神经网络泛化能力方面具有重要作用。通过在这些数据集上进行实验，可以更显著地展现神经网络的泛化能力，因为在数据有限、规则清晰的情况下，模型需要更好地理解数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。

最初关于模型顿悟的研究大多在[[Transformer]]执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么使用模运算？是因为小型算法数据集在研究神经网络泛化能力方面具有重要作用。通过在这些数据集上进行实验，可以更显著地展现神经网络的泛化能力，因为在数据有限、规则清晰的情况下，模型需要更好地理解数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。

数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token。由于通常只有<math>a,b,c</math>三个变量，<math><c>=<a><op><b></math>，其中<math><op></math>是运算符。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非个例，而是一个真实存在的规律：

数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token。由于通常只有<math>a,b,c</math>三个变量，<math><c>=<a><op><b></math>，其中<math><op></math>是运算符。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非个例，而是一个真实存在的规律：

[[文件:二元运算.png|发现顿悟现象的部分二元运算|居中|无框|600x600像素|替代=]]

[[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]

=== 其他算法任务 ===

=== 其他算法任务 ===