28
个编辑
更改
跳到导航
跳到搜索
第103行：
第103行： + − 如何量化大语言模型的语义理解能力？Chen等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较token序列（宏观层面）相对于单个token（微观层面）的熵的减少来对此进行量化。+ + + + + + + + − ====信息涌现的定义====
→基于大语言模型结构的涌现度量
【承接上文：为什么要问语义理解能力的量化问题？为什么要提出IE指标】
【承接上文：为什么要问语义理解能力的量化问题？为什么要提出IE指标】
大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。
====信息涌现的定义====
研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 <math>l</math> ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 <math>H_l = {h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l}</math> 表示，输出表征为 <math>H_{l+1} = {h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1}}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。
研究者将序列中的 token 变量分为两类：微观变量和宏观变量。'''微观变量'''指仅受单个输入 token 影响的 token，例如 <math>h^0</math> 满足条件概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，任意的 <math>h^t_{l+1}</math> 满足条件概率
<math>p_{ h^t_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。
NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。信息涌现概念源于一个关键发现：在动态过程中，宏观变量与微观变量的转移概率存在显著差异。
文章中对信息涌现做了如下定义：
文章中对信息涌现做了如下定义：