28
个编辑
更改
跳到导航
跳到搜索
第120行：
第120行： − 从信息论角度，E(l)>0 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。+
→信息涌现的定义
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi_t}_{l+1}, h^{mi_t}_l)}{T}</math>
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi_t}_{l+1}, h^{mi_t}_l)}{T}</math>
从信息论角度，<math>E(l)>0</math> 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。