更改

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

====信息涌现的定义====

====大语言模型中信息涌现的定义====

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为  <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如  <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>  满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如  <math>h^0</math>  满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如  <math>h^{T-1}_{l+1}</math>  满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。  

 

NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，基于 Erik Hoel 等人的因果涌现理论和 Rosas 等人基于信息分解量化涌现的理论，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：  

NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，基于 Erik Hoel 等人的因果涌现理论和 Rosas 等人基于信息分解量化涌现的理论，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l

</math> 是宏观变量， <math>h^{mi}_l

</math> 表示宏观变量， <math>h^{mi}_l

</math> 是微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的信息涌现（IE）强度可以描述为，

</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的信息涌现（IE）强度可以描述为，

<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>

<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>

从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math>  个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕捉集体语义。IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。

从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math>  个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕捉集体语义。IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。

 

 

 

 

'''信息涌现指标与涌现的联系'''

'''信息涌现指标与涌现的联系'''

研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到  <math>10^10

</math> 时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（ <math>10^9

</math> 至 <math>10^10

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与IE值之间的关联关系]]

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与IE值之间的关联关系]]