更改

跳到导航 跳到搜索
添加48字节 、 2025年12月27日 (六) 20:01
第87行: 第87行:  
经过一番努力,Nanda最终弄清了原因。当将数字表示在圆形上时,网络并不是像看时钟的小学生那样简单地数数:它在进行一些复杂的数学操作。通过研究网络参数的值,Nanda和同事们发现,它通过对这些时钟数字进行“[[离散傅里叶变换]]”来相加——使用正弦和余弦等三角函数转换数字,然后利用三角恒等式对这些值进行操作以得出解决方案。
 
经过一番努力,Nanda最终弄清了原因。当将数字表示在圆形上时,网络并不是像看时钟的小学生那样简单地数数:它在进行一些复杂的数学操作。通过研究网络参数的值,Nanda和同事们发现,它通过对这些时钟数字进行“[[离散傅里叶变换]]”来相加——使用正弦和余弦等三角函数转换数字,然后利用三角恒等式对这些值进行操作以得出解决方案。
   −
麻省理工学院的刘子鸣团队继续研究了Nanda的工作,他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法,有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号,要加两个数,想象从披萨中心指向所问数字的箭头,然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间:这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示,即对 a 和 b 的正弦和余弦进行操作,理论上它们与“时钟”方法一样精确。
+
麻省理工学院的刘子鸣团队继续研究了Nanda的工作,他们展示了这些“理解”神经网络并不总是发现这个“时钟”算法,有时会找到研究人员称之为“披萨”的算法<ref>{{cite journal | author1=Zhong Z | author2=Liu Z | author3=Tegmark M | author4=Andreas J | year=2023 | title=The clock and the pizza: Two stories in mechanistic explanation of neural networks | journal=Advances in Neural Information Processing Systems | volume=36 | page=27223–27250 | url= }}</ref>。这种方法设想一个披萨被分成若干片并按顺序编号,要加两个数,想象从披萨中心指向所问数字的箭头,然后计算由前两个箭头形成的角度的角平分线。这条线穿过披萨某一片的中间:这一片的编号就是两个数的和。这些操作也可以用三角函数和代数操作来表示,即对 a 和 b 的正弦和余弦进行操作,理论上它们与“时钟”方法一样精确。时钟和披萨算法的原理如下图所示:
    
[[文件:Clock and pizza.png|时钟与披萨算法示意图|无框|664x664像素]]
 
[[文件:Clock and pizza.png|时钟与披萨算法示意图|无框|664x664像素]]
81

个编辑

导航菜单