28
个编辑
更改
跳到导航
跳到搜索
第101行：
第101行： − 如何量化大语言模型（LLMs）的语义理解能力？Chen等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化 LLMs 从输入token中提取语义信息的能力。论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较token序列（宏观层面）相对于单个token（微观层面）的熵的减少来对此进行量化。+ − 研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的情境学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，ICL 比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。 − 文章指出，“信息涌现”（IE）与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''（IE）则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。+ 第115行：
第114行： + 第123行：
第123行： − + + + + + + + − + 第154行：
第160行： − + +
→大语言模型涌现的机制解释
==基于大语言模型结构的涌现度量==
==基于大语言模型结构的涌现度量==
【承接上文：为什么要问语义理解能力的量化问题？为什么要提出IE指标】
如何量化大语言模型的语义理解能力？Chen等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。论文中将“'''语义'''”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较token序列（宏观层面）相对于单个token（微观层面）的熵的减少来对此进行量化。
====信息涌现的定义====
====信息涌现的定义====
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>
从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math> 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
从信息论角度，<math>E(l)>0</math> 表明：当第 <math>l</math> 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
优化误差函数 L
优化误差函数 L
'''IE指标与涌现的联系'''
'''信息涌现指标与涌现的联系'''
研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习'''、'''涌现、幻觉（hallucination）等现象存在内在关联'''。'''具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。
文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。
研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。
研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。
[[文件:Screenshot 2025-03-30 at 17.38.22.png|缩略图|研究中评估了8个算术任务的表现与IE值之间的关联关系]]
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与IE值之间的关联关系]]
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=
https://pattern.swarma.org/study_group_issue/446
https://pattern.swarma.org/study_group_issue/446
参考文献<references />
== 参考文献 ==
<references />