28
个编辑
更改
跳到导航
跳到搜索
第118行：
第118行： − + − ==== 如何估算大模型的IE指标？ ====+ + + + − === 实验发现 === − − ==== '''与涌现的联系''' ==== − +
→基于大语言模型结构的涌现度量
文章中对信息涌现做了如下定义：
文章中对信息涌现做了如下定义：
E(l)
<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi_t}_{l+1}, h^{mi_t}_l)}{T}</math>
从信息论角度，E(l)>0 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
从信息论角度，E(l)>0 表明：当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE可以简要理解为，“语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度”。
如何估算大模型的IE指标？
优化误差函数 L
优化误差函数 L
'''IE指标与涌现的联系'''
研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。
研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。
[[文件:Screenshot 2025-03-30 at 17.38.22.png|缩略图|8个算术任务的表现与IE值之间的关联关系]]
[[文件:Screenshot 2025-03-30 at 17.38.22.png|缩略图|研究中评估了8个算术任务的表现与IE值之间的关联关系]]