842
个编辑
更改
→大语言模型涌现的机制解释
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=
==大模型对宏观语义的理解==
根据前文提及的因果涌现理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？
近期，开发Claude大模型的团队Anthropic公司提出了一些基于Claude行为表现的大模型可解释性工作，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，
[[文件:Claude CLT.png|无|缩略图|800x800像素|CLT的示意图]]
= 参考文献 =
= 参考文献 =