842
个编辑
更改
跳到导航
跳到搜索
第105行：
第105行： − + + − ==复杂科学中涌现现象的定量框架==+ − − 在复杂科学中，对复杂系统的涌现的研究由来已久。目前，[[因果涌现]]是主流的对涌现定量研究的理论框架。这个概念最早由美国理论神经生物学家[[Erik Hoel]] 在2013年提出。下图是对该理论的一个抽象框架，其中，横坐标表示时间，纵坐标表示尺度。该框架可以看成是对同一个动力系统在微观和宏观两种尺度上的描述。其中，[math]f_m[/math] 表示微观动力学，[math]f_M[/math] 表示宏观动力学，二者通过一个粗粒化函数 [math]\phi[/math] 相连。在一个离散状态的马尔科夫动力系统中，[math]f_m[/math] 和 [math]f_M[/math] 都是马尔科夫链。<math> EI </math> 是[[有效信息]]——因果效应强度的度量指标。由于微观态可能具有更大的随机性，这导致微观动力学的[[因果性]]比较弱，所以通过对每一个时刻的微观态进行合理的粗粒化，就有可能得到因果性更强的宏观态。所谓的因果涌现，就是指当我们对微观态进行粗粒化的时候，宏观动力学的[[有效信息]]会增加这一现象，并且宏观态与微观态的[[有效信息]]之差被定义为因果涌现的强度。 − − [[文件:因果涌现理论.png|因果涌现理论框架|alt=因果涌现理论抽象框架|居左|400x400像素]] − − 除此以外，还有其他的度量方法，可参考集智百科词条[[因果涌现]]。相比于目前大多数对于大语言模型的涌现的刻画，复杂系统研究领域里对涌现的度量的关键区别在于：1.在因果描述的层次上度量，即更关注系统本身的结构而非完成下游任务的能力；2.在多尺度建模的框架下，比较微观和宏观尺度，所以需要对复杂系统（大语言模型）建立多尺度视角；3.使用信息论领域的指标。 − − 基于复杂系统涌现理论进行度量的好处是，量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。下面介绍一个基于信息论和大模型结构的度量涌现的研究。 − + 第156行：
第149行： − + −
→大语言模型涌现的度量
3. 在较大参数范围内采样不足。
3. 在较大参数范围内采样不足。
=大语言模型涌现的度量 =
=大语言模型结构上的涌现 =
如前所述，目前大多数对于大语言模型涌现的刻画聚焦在具体下游任务的表现上，且都是定性的结论。自菲利普·安德森的《多者异也》之后，复杂性科学中对于复杂系统的涌现有了更多的认识。在观察者角度下，一个复杂系统同时具有微观和宏观尺度上的动力学，比如对于大语言模型来说，微观动力学是从已有的token生成下一个token，宏观动力学则可以是语义上的接龙和变化。作为一个对涌现定量研究的理论框架，[[因果涌现]]理论提出当宏观动力学因果效应强度大于微观动力学上的因果效应强度时，复杂系统发生涌现。我们猜想，大语言模型之所以会出现完成任务能力上的涌现或突变，背后对应着动力学机制上的涌现。这里的动力学机制由模型的权重参数和运行方式决定。
基于大语言模型结构对涌现进行度量的好处是，量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。下面介绍一个基于信息论和大模型结构的度量涌现的研究。
==基于大语言模型结构的涌现度量==
==基于大语言模型结构的涌现度量==
大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。
大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观单元，语义则是具有可预测行为特征的宏观现象。Chen 等人的研究中提出一种叫做“'''信息涌现'''”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。
====量化大语言模型的信息涌现====
====量化大语言模型的信息涌现====
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]
==基于大语言模型结构的多尺度解释==
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=