更改

受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中预测下一个token（Next-token-prediction，简称NTP）机制的自回归过程是[[马尔可夫过程]]。

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如  <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>  满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如  <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>  满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，基于 Erik Hoel 等人的因果涌现理论<ref>E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref>E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>和 Rosas 等人基于信息分解量化涌现的理论<ref>F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：

预测下一个token机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，受到 [[Erik Hoel的因果涌现理论]]<ref>E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref>E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>和 [[Rosas的因果涌现理论]]<ref>F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>的启发，研究中将大模型中的涌现视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l

</math> 表示宏观变量， <math>h^{mi}_l

</math> 表示宏观变量， <math>h^{mi}_l

</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的信息涌现（IE）强度可以描述为

</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的信息涌现（IE）强度可以描述为：

<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>

:<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>

从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math>  个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕捉集体语义。IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。

从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math>  个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，模型更有可能捕捉集体语义。IE可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。

[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|将多层模块中 NTP 预测机制的自回归过程类比为马尔可夫随机过程]]

[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|将多层模块中 NTP 预测机制的自回归过程类比为马尔可夫随机过程]]

'''信息涌现指标与涌现的联系'''

'''信息涌现指标与涌现的联系'''

研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象<ref>M. A. Bedau. Weak emergence. Philosophical perspectives, 11:375–399, 1997.</ref><ref>M. A. Bedau. Downward causation and autonomy in weak emergence. 2008.</ref>。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''则是基于信息论定义的概念，描述的是在宏观层面可观测到、但无法在微观层面观测到的现象<ref>M. A. Bedau. Weak emergence. Philosophical perspectives, 11:375–399, 1997.</ref><ref>M. A. Bedau. Downward causation and autonomy in weak emergence. 2008.</ref>。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到  <math>10^{10}

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到  <math>10^{10}</math> 时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（ <math>10^9</math> 至 <math>10^{10}</math> ）内，平均IE值也显著增加。

</math> 时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（ <math>10^9

</math> 至 <math>10^{10}

</math> ）内，平均IE值也显著增加。

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|714x714px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|714x714px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]