更改

==量化大语言模型的信息涌现==

==量化大语言模型的信息涌现==

受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现理论]]的启发，Chen等人<ref>Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。

受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现理论]]的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。

大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]， 如下图所示。以图中第0块中第2个token的输出表示（<math>h_1^2</math>）为例，它接收来自输入表示<math>h_0^0、$h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中预测下一个token机制的自回归过程是。

大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]， 如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。

[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|NTP机制与马尔可夫过程的类比。]]

[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|NTP机制与马尔可夫过程的类比。]]

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如 <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>   满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

在这个动力学过程中有微观变量和宏观变量。'''微观变量'''指仅受单个输入token影响的token，例如 <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有输入token的信息，例如<math>h^{T-1}_{l+1}</math>满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。 在这样的定义下，NTP机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程。根据《多者异也》的理论，有时候，宏观变量的行为状态无法从任何一个微观变量中推出，但这并不意味着宏观变量可以无中生有。文中除了马尔可夫假设以外，还提出了随附性假设<ref name="IE" />，即当一个系统的微观动力学机制确定时，它的宏观动力学机制也就随之确定了。

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l