28
个编辑
更改
跳到导航
跳到搜索
第117行：
第117行： + + + + − +
→信息涌现的定义
==== 信息涌现的定义 ====
==== 信息涌现的定义 ====
文章中对信息涌现做了如下定义：
文章中对信息涌现做了如下定义：
对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l
</math> 是宏观变量， <math>h^{mi}_l
</math> 是微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的IE强度可以描述为，
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
从信息论角度，<math>E(l)>0</math> 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math> 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。