81
个编辑
更改
跳到导航
跳到搜索
第89行：
第89行： − +
→时钟和披萨算法
麻省理工学院的刘子鸣团队继续研究了Nanda的工作，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。时钟和披萨算法的原理如下图所示：
麻省理工学院的刘子鸣团队继续研究了Nanda的工作，他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法，有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号，要加两个数，想象从披萨中心指向所问数字的箭头，然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间：这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示，即对 a 和 b 的正弦和余弦进行操作，理论上它们与“时钟”方法一样精确。时钟和披萨算法的原理如下图所示：
[[文件:Clock and pizza.png|时钟与披萨算法示意图|764x764像素]]
[[文件:Clock and pizza.png|none|缩略图|时钟与披萨算法示意图|764x764像素]]
左侧为Clock算法，右侧为Pizza算法。两者均包含三个核心步骤：输入嵌入（Embed）、中间计算（MLP/Transformer）、输出预测（Unembed/Logit），但中间计算逻辑存在本质差异。时钟算法模拟时钟指针相加:将<math>a</math> 和<math>b</math> 对应的角度直接相加，得到和<math>a+b</math> 对应的角度，再映射到结果<math>c</math> 。披萨算法通过<math>a</math> 和<math>b</math> 的平均值向量所在的“披萨切片"区域判断结果。平均值向量的角度由<math>a+b</math> 决定，长度由<math>a-b</math> 决定。
左侧为Clock算法，右侧为Pizza算法。两者均包含三个核心步骤：输入嵌入（Embed）、中间计算（MLP/Transformer）、输出预测（Unembed/Logit），但中间计算逻辑存在本质差异。时钟算法模拟时钟指针相加:将<math>a</math> 和<math>b</math> 对应的角度直接相加，得到和<math>a+b</math> 对应的角度，再映射到结果<math>c</math> 。披萨算法通过<math>a</math> 和<math>b</math> 的平均值向量所在的“披萨切片"区域判断结果。平均值向量的角度由<math>a+b</math> 决定，长度由<math>a-b</math> 决定。