| 第95行: |
第95行: |
| | ==复杂科学中涌现现象的定量框架== | | ==复杂科学中涌现现象的定量框架== |
| | | | |
| − | 在复杂科学中,对复杂系统的涌现的研究由来已久。目前,[[因果涌现]]是主流的对涌现定量研究的理论框架。这个概念最早由美国理论神经生物学家[[Erik Hoel]] 在2013年提出。 | + | 在复杂科学中,对复杂系统的涌现的研究由来已久。目前,[[因果涌现]]是主流的对涌现定量研究的理论框架。这个概念最早由美国理论神经生物学家[[Erik Hoel]] 在2013年提出。下图是对该理论的一个抽象框架,其中,横坐标表示时间,纵坐标表示尺度。该框架可以看成是对同一个动力系统在微观和宏观两种尺度上的描述。其中,[math]f_m[/math] 表示微观动力学,[math]f_M[/math] 表示宏观动力学,二者通过一个粗粒化函数 [math]\phi[/math] 相连。在一个离散状态的马尔科夫动力系统中,[math]f_m[/math] 和 [math]f_M[/math] 都是马尔科夫链。<math> EI </math> 是[[有效信息]]——因果效应强度的度量指标。由于微观态可能具有更大的随机性,这导致微观动力学的[[因果性]]比较弱,所以通过对每一个时刻的微观态进行合理的粗粒化,就有可能得到因果性更强的宏观态。所谓的因果涌现,就是指当我们对微观态进行粗粒化的时候,宏观动力学的[[有效信息]]会增加这一现象,并且宏观态与微观态的[[有效信息]]之差被定义为因果涌现的强度。 |
| | | | |
| − | [[文件:因果涌现.png|缩略图]] | + | [[文件:因果涌现理论.png|因果涌现理论框架|alt=因果涌现理论抽象框架|居左|400x400像素]] |
| | + | |
| | + | 除此以外,还有其他的度量方法,可参考集智百科词条[[因果涌现]]。相比与目前大多数对于大语言模型的涌现的刻画,复杂系统研究领域里对涌现的度量的关键区别在于:1.在因果描述的层次上度量,即更关注系统本身的结构而非完成下游任务的能力;2.在多尺度建模的框架下,比较微观和宏观尺度,所以需要对复杂系统(大语言模型)建立多尺度视角;3.使用信息论领域的指标。 |
| | + | |
| | + | 基于复杂系统涌现理论进行度量的好处是,量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。下面介绍一个基于信息论和大模型结构的度量涌现的研究。 |
| | | | |
| | ==基于大语言模型结构的涌现度量== | | ==基于大语言模型结构的涌现度量== |