28
个编辑
更改
跳到导航
跳到搜索
第118行：
第118行： − +
→基于大语言模型结构的涌现度量
文章中对信息涌现做了如下定义：
文章中对信息涌现做了如下定义：
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi_t}_{l+1}, h^{mi_t}_l)}{T}</math>
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
从信息论角度，<math>E(l)>0</math> 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
从信息论角度，<math>E(l)>0</math> 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。