更改

==基于大语言模型结构的涌现度量==

==基于大语言模型结构的涌现度量==

 

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

====信息涌现的定义====

====信息涌现的定义====

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = {h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l}</math> 表示，输出表征为  <math>H_{l+1} = {h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1}}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = {h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l}</math> 表示，输出表征为  <math>H_{l+1} = {h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1}}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。