842
个编辑
更改
跳到导航
跳到搜索
第137行：
第137行： − 研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。+ − − 文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。'''涌现'''被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。'''信息涌现'''则是基于信息论定义的概念，描述的是在宏观层面可观测到、但无法在微观层面观测到的现象<ref>M. A. Bedau. Weak emergence. Philosophical perspectives, 11:375–399, 1997.</ref><ref>M. A. Bedau. Downward causation and autonomy in weak emergence. 2008.</ref>。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。 − − 研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到 <math>10^{10}</math> 时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（ <math>10^9</math> 至 <math>10^{10}</math> ）内，平均IE值也显著增加。
→量化大语言模型的信息涌现
[[文件:IE token.png|替代=|无|缩略图|714x714px|IE和其他指标随着token数量增加的增长幅度的变化。纵轴度量的计算方式是(value(t) − value(t − 1))/value(t)。]]
[[文件:IE token.png|替代=|无|缩略图|714x714px|IE和其他指标随着token数量增加的增长幅度的变化。纵轴度量的计算方式是(value(t) − value(t − 1))/value(t)。]]
IE可以用来直接指示大模型能力的提升。研究中评估了8个算术任务（一位数和两位数的加减乘除）的表现与IE值之间的关联关系（如下图所示）。当参数量达到<math>10^9</math> 至 <math>10^{10}</math>时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围内，平均IE值也显著增加。
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|714x714px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|714x714px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]