81
个编辑
更改
跳到导航
跳到搜索
第36行：
第36行： +
→其他算法任务
=== 其他算法任务 ===
=== 其他算法任务 ===
除了模运算，研究者还在以下数学任务中观察到了顿悟：
除了模运算，研究者还在以下数学任务中观察到了顿悟：
'''群运算（Group Operations）：'''这是模运算的推广。Chughtai 等人<ref>{{cite journal | author1=Chughtai B | author2=Chan L | author3=Nanda N | year=2023 | title=A toy model of universality: Reverse engineering how networks learn group operations | journal=International Conference on Machine Learning (ICML), PMLR | volume= | issue= | page= | url= }}</ref>训练MLP模型在阶数为<math>∣G∣=n</math>的有限群上执行群组合运算，发现模型表现出"顿悟"现象。模型输入为有序对 <math>(a,b)</math>（其中<math>a, b \in G</math>），训练目标是预测群元素 <math>c=ab</math>。值得注意的是，Nanda等人<ref name=":0" />提出的任务是该任务的特例——因为模113加法运算等价于113阶循环群的组合运算。
'''群运算（Group Operations）：'''这是模运算的推广。Chughtai 等人<ref>{{cite journal | author1=Chughtai B | author2=Chan L | author3=Nanda N | year=2023 | title=A toy model of universality: Reverse engineering how networks learn group operations | journal=International Conference on Machine Learning (ICML), PMLR | volume= | issue= | page= | url= }}</ref>训练MLP模型在阶数为<math>∣G∣=n</math>的有限群上执行群组合运算，发现模型表现出"顿悟"现象。模型输入为有序对 <math>(a,b)</math>（其中<math>a, b \in G</math>），训练目标是预测群元素 <math>c=ab</math>。值得注意的是，Nanda等人<ref name=":0" />提出的任务是该任务的特例——因为模113加法运算等价于113阶循环群的组合运算。