842
个编辑
更改
跳到导航
跳到搜索
第115行：
第115行： − +
→量化大语言模型的信息涌现
==量化大语言模型的信息涌现==
==量化大语言模型的信息涌现==
受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现理论]]的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。
受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现]]理论的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。
大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]， 如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为 <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。
大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]， 如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为 <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。