842
个编辑
更改
→大语言模型涌现的机制解释
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。
上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。
第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。因果图的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成干预的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。
[[文件:Claude poem.png|无|缩略图|500x500像素|图中浅蓝色部分是提示词，橙红色部分是输出。]]
如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。
第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。
[[文件:Claude math.png|无|缩略图|500x500像素|计算的36+59的内部思考过程。]]
一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。
= 参考文献 =
= 参考文献 =