28
个编辑
更改
→基于大语言模型结构的涌现度量
==基于大语言模型结构的涌现度量==
==基于大语言模型结构的涌现度量==
如何量化大语言模型（LLMs）的语义理解能力？Chen等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化 LLMs 从输入token中提取语义信息的能力。论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较token序列（宏观层面）相对于单个token（微观层面）的熵的减少来对此进行量化。
研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在合成情境学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的情境学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，ICL 比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。
文章指出，“信息涌现”（IE）与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''（IE）则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。
==== 信息涌现的定义 ====
文章中对信息涌现做了如下定义：
E(l)
从信息论角度，E(l)>0 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
==== 如何估算大模型的IE指标？ ====
优化误差函数 L
=== 实验发现 ===
==== '''与涌现的联系''' ====
研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。
[[文件:Screenshot 2025-03-30 at 17.38.22.png|缩略图|8个算术任务的表现与IE值之间的关联关系]]
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=