更改

=大语言模型的结构涌现 =

=大语言模型的结构涌现 =

如前所述，目前大多数对于大语言模型涌现的刻画聚焦在具体下游任务的表现上，且都是定性的结论。这类涌现现象可以被看作是大语言模型的功能涌向。然而，结构决定功能。有没有可能在发生功能涌现的同时，大语言模型的内部也在发生结构上的涌现呢？这里的结构既指模型中的网络连接结构，又指模型的前向计算过程的动力学。自菲利普·安德森的《多者异也》之后，复杂性科学中对于复杂系统的涌现有了更多的认识。在观察者角度下，一个复杂系统同时具有微观和宏观尺度上的动力学，比如对于大语言模型来说，微观动力学是从已有的token生成下一个token，宏观动力学则可以是语义上的接龙和变化。作为一个对涌现定量研究的理论框架，[[因果涌现]]理论提出当宏观动力学因果效应强度大于微观动力学上的因果效应强度时，复杂系统发生涌现现象<ref name="Hoel1">E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref name="Hoel2">E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>。我们猜想，大语言模型之所以会出现任务能力上的涌现或突变，背后对应着动力学机制上的涌现。这里的动力学机制由模型的权重参数和运行方式决定。

在结构上，当前主流的大语言模型都是基于[[Transformer架构]]搭建并训练的，每次根据历史输入的信息预测下一个token的概率分布。Token是自然语言处理中把一段文本切分成的最小单位。可以是一个字、一个词，或者一个子词。大语言模型使用token来理解和处理文本，把句子分解为token后再进行模型计算和生成。然而，人类对于语言的理解不是在token的层次上，而是在语义（semantics）的层次上。我们可以通过对多个token的排列组合来理解和表达语义。所谓对大语言模型的结构进行度量和解释，便是基于Transformer模块的行为，对模型在token和语义层次上的动力学进行量化分析。这里的动力学机制由模型的权重参数和运行方式决定。

==基于大语言模型结构的涌现度量==

==量化大语言模型的信息涌现==

在结构上，当前主流的大语言模型都是基于[[Transformer架构]]搭建并训练的，每次根据历史输入的信息预测下一个token的概率分布。Token是自然语言处理中把一段文本切分成的最小单位。可以是一个字、一个词，或者一个子词。大语言模型使用token来理解和处理文本，把句子分解为token后再进行模型计算和生成。然而，人类对于语言的理解不是在token的层次上，而是在语义（semantics）的层次上。我们可以通过对多个token的排列组合来理解和表达语义。Chen等人的研究中<ref>Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。

Chen等人的研究中<ref>Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。

基于Hoel和Rosas等人的[[因果涌现]]理论，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

受信息论启发，论文中将'''语义'''形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中预测下一个token（Next-token-prediction，简称NTP）机制的自回归过程是[[马尔可夫过程]]。

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中预测下一个token（Next-token-prediction，简称NTP）机制的自回归过程是[[马尔可夫过程]]。

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如  <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>  满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如  <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>  满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

预测下一个token机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，受到 [[Erik Hoel的因果涌现理论]]<ref>E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref>E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>和 [[Rosas的因果涌现理论]]<ref>F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>的启发，研究中将大模型中的涌现视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：  

预测下一个token机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，受到 [[Erik Hoel的因果涌现理论]]<ref name="Hoel1" /><ref name="Hoel2" />和 [[Rosas的因果涌现理论]]<ref>F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>的启发，研究中将大模型中的涌现视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：  

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l