81
个编辑
更改
跳到导航
跳到搜索
第42行：
第42行： − +
→模运算
最初关于模型顿悟的研究大多在[[Transformer]]执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么选择用模运算任务？是因为小型算法数据集在研究神经网络泛化能力上具有重要作用：它构成了一个代数结构严密且特征独立的小样本空间，且具有强烈的离散性；在数据有限、规则清晰的情况下，模型必须理解隐藏在数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。因此，模运算成为了观察模型从“机械记忆”向“算法泛化”转变的最佳受控实验场，能清晰地展示泛化能力突变的动态过程。
最初关于模型顿悟的研究大多在[[Transformer]]执行模运算任务上进行<ref name="Power_grokking" /><ref name=":0">{{cite journal | author1=Nanda N | author2=Chan L | author3=Lieberum T | author4=Smith J | author5=Steinhardt J | year=2023 | title=Progress measures for grokking via mechanistic interpretability | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url=https://openreview.net/forum?id=9XFSbDPmdW }}</ref>。为什么选择用模运算任务？是因为小型算法数据集在研究神经网络泛化能力上具有重要作用：它构成了一个代数结构严密且特征独立的小样本空间，且具有强烈的离散性；在数据有限、规则清晰的情况下，模型必须理解隐藏在数据中的模式和规律才能实现泛化，有助于快速验证顿悟理论和假设，加深对神经网络泛化能力的理解。因此，模运算成为了观察模型从“机械记忆”向“算法泛化”转变的最佳受控实验场，能清晰地展示泛化能力突变的动态过程。
模运算数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token。由于通常只有<math>a,b,c</math>三个变量，<math><c>=<a><op><b><mod><p></math>，其中<math><op></math>是运算符。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非偶然的个例，而是一个真实存在的规律：
模运算数据集通常由形如<math>a \circ b \bmod p = c</math>的方程组成，其中每个元素"<math>a</math>"、"<math>\circ</math>"、"<math>b</math>"、"<math>mod</math>"、"<math>p</math>"、"<math>=</math>"和"<math>c</math>"均为独立token，可写作<math><c>=<a><op><b><mod><p></math>，其中<math><op></math>是运算符，通常在一个任务中只有<math>a,b,c</math>三个数字变量，也有研究试验了对于不同运算符的泛化效果。除了首次发现顿悟现象的模加法运算，研究者们已经在以下多种类型模运算上进行了实验，验证了顿悟并非偶然的个例，而是一个真实存在的规律：
[[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]
[[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]