842
个编辑
更改
→大语言模型的结构涌现
基于以上两个假设，文章中对大语言模型的信息涌现做了如下定义<ref name="IE" />：
基于以上两个假设，文章中对大语言模型的信息涌现做了如下定义<ref name="IE" />：
对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l
对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l</math> 表示宏观变量， <math>h^{mi}_l</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的IE强度定义为：
</math> 表示宏观变量， <math>h^{mi}_l
</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的信息涌现（IE）强度可以描述为：
:<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
:<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math> 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，模型更有可能捕捉集体语义。IE可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。
从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math> 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，模型更有可能捕捉集体语义。IE可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。
研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。
研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。