更改

如何量化大语言模型（LLMs）的语义理解能力？Chen等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化 LLMs 从输入token中提取语义信息的能力。论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较token序列（宏观层面）相对于单个token（微观层面）的熵的减少来对此进行量化。

如何量化大语言模型（LLMs）的语义理解能力？Chen等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化 LLMs 从输入token中提取语义信息的能力。论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较token序列（宏观层面）相对于单个token（微观层面）的熵的减少来对此进行量化。

研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在合成情境学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的情境学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，ICL 比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的情境学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，ICL 比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

文章指出，“信息涌现”（IE）与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''（IE）则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

文章指出，“信息涌现”（IE）与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''（IE）则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

[[文件:Screenshot 2025-03-30 at 17.38.22.png|缩略图|研究中评估了8个算术任务的表现与IE值之间的关联关系]]

[[文件:Screenshot 2025-03-30 at 17.38.22.png|缩略图|研究中评估了8个算术任务的表现与IE值之间的关联关系]]

=大语言模型涌现的机制解释=

=大语言模型涌现的机制解释=