842
个编辑
更改
跳到导航
跳到搜索
第123行：
第123行： − 第161行：
第160行： + + + + + + + + + + + + + + + + + + + + + + + + 第200行：
第223行： − Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki> − − ==AI生物学== − − 根据前文提及的[[因果涌现]]理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？ − − 近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 <ref>Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.</ref><ref>Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.</ref>，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。 − − [[文件:Claude CLT.png|无|缩略图|434x434px|CLT的示意图]] − − 根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的因果图，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？ − − [[文件:Claude bilang.png|无|缩略图|602x602px|面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。]] − − 上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。 − − 第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。因果图的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成干预的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。 − − [[文件:Claude poem.png|无|缩略图|608x608px|图中浅蓝色部分是提示词，橙红色部分是输出。]] − − 如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。 − − 第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。 − − [[文件:Claude math.png|无|缩略图|608x608px|计算的36+59的内部思考过程。]] − − 一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。 −
无编辑摘要
==基于大语言模型结构的涌现度量==
==基于大语言模型结构的涌现度量==
大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观单元，语义则是具有可预测行为特征的宏观现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。
大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观单元，语义则是具有可预测行为特征的宏观现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。
==基于大语言模型结构的多尺度解释==
==基于大语言模型结构的多尺度解释==
根据前文提及的[[因果涌现]]理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？
近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 <ref>Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.</ref><ref>Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.</ref>，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。
[[文件:Claude CLT.png|无|缩略图|434x434px|CLT的示意图]]
根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的因果图，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？
[[文件:Claude bilang.png|无|缩略图|602x602px|面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。]]
上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。
第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。因果图的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成干预的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。
[[文件:Claude poem.png|无|缩略图|608x608px|图中浅蓝色部分是提示词，橙红色部分是输出。]]
如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。
第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。
[[文件:Claude math.png|无|缩略图|608x608px|计算的36+59的内部思考过程。]]
一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=
在研究中，作者使用渗流模型模拟了大语言模型的学习过程，并验证了这一模型的有效性。例如，在训练过程中，当模型的能力提升时，发现其能力提升与模型学习的语法规则和上下文依赖结构相关 。当这些结构学习到足够的程度后，模型的表现会突然提升，表明模型从一个“局部”能力的状态跃升到一个“全局”能力的状态 。这一现象与渗流模型中“临界点”过渡的特性一致。
在研究中，作者使用渗流模型模拟了大语言模型的学习过程，并验证了这一模型的有效性。例如，在训练过程中，当模型的能力提升时，发现其能力提升与模型学习的语法规则和上下文依赖结构相关 。当这些结构学习到足够的程度后，模型的表现会突然提升，表明模型从一个“局部”能力的状态跃升到一个“全局”能力的状态 。这一现象与渗流模型中“临界点”过渡的特性一致。
=参考文献=
=参考文献=
<references />
<references />