基于有效信息的因果涌现理论

基于有效信息的因果涌现理论是因果涌现领域最早提出的一种用于定量刻画因果涌现强度的方法。该方法由Erik Hoel等人提出，其基本方法是将微观系统进行粗粒化后使用一种因果效应度量指标有效信息(EI)来量化一个马尔科夫动力学的因果性强弱。

起源

2013年，Erik Hoel首次使用“有效信息”指标定量刻画涌现，并提出了因果涌现理论。

2016年，针对多时空尺度的系统提出新的Umax因果效能度量指标

2017年，因果容量与信息通道：将有效信息与信息论中经典概念香农的信道容量进行类比。

2021年，提出因果几何框架，将有效信息概念从离散马尔可夫动力系统拓展至连续系统，

主要理论

马尔可夫动力系统

马尔可夫链

粗粒化映射

微观元素状态集通过[math]M: S_m \rightarrow S_M[/math]映射构成宏观元素状态集，映射方法可以针对微观元素的空间或（和）时间维度。空间映射的对象是不同微观元素状态，时间映射针对的是同一微观元素不同时间步的状态。

例如，两个微观布尔元素有四种状态[math]S_m = \{00,01,10,11\}[/math]，按照[math]M:[[00,01,10] = off, [11] = on][/math]的映射规则，可以得到宏观尺度一个元素的两种状态，即[math]S_M = \{on, off\}[/math]。

具体要求：粗粒化映射对微观元素而言，必须是穷尽(exhaustive)和互斥的(disjunctive)，即一个微观元素的所有状态必须映射到同一个宏观元素的各种状态。粗粒化映射会带来系统的状态空间减小，但也允许宏观元素可以由单个微观元素组成。

变量角度的因果涌现

下面从变量角度，分别给出了空间、时间和时空因果涌现的布尔网络实例，从系统机制、微观尺度分析、粗粒化映射和宏观尺度分析四个方面进行描述和分析。注：[math]S_m[/math]表明微观系统；[math]S_M[/math]表明粗粒化后的微观系统。微观元素是布尔值的且用拉丁字母[math]\{A, B, C…\}[/math]标记，宏观元素用希腊字母[math]\{α， β， γ. .\}[/math]标记。微观状态标记为[math]\{1,0\}[/math]，宏观状态标记为{“on”，“bursting”，“quiet”…}。

空间因果涌现

空间因果涌现的产生，可能来自于粗粒化过程中不确定性减少，或者简并性抵消。

1.减少不确定性实例分析

系统机制：考虑一个由四个0或1元素组成的系统[math]S_m = \{ABCD\}[/math] (图A)。每个微观机制都是一个针对两个输入的带噪声的与门。通过将系统以等概率设置为从[0000]到[1111]的所有可能的微观状态来构建16 × 16 [math]S_m[/math] 状态转移矩阵(图B)。

微观尺度：[math]S_m[/math]的有效信息[math]EI(S) = 1.15 \text{ bits}[/math](最大取值为[math]4 \text{ bits}[/math])，[math]Eff(S_m) = 0.29[/math]。

粗粒化映射：宏观尺度[math]S_M[/math](图2D)由两个元素[math]{α, β}[/math]组成，每个元素都有状态{"on" ,"off"}，是由图2C中的映射M定义的[math]S_m[/math]的粗粒化方法。通过将系统以等概率设置为从[off, off]到[on, on]的所有可能的宏观状态，可以得到4 × 4 的[math]S_M[/math] 状态转移矩阵(图2E)。

宏观尺度：宏观尺度下[math]EI(S_M) = 1.55 \text{ bits}[/math]，高于微观尺度的[math]EI(S_m) = 1.15 \text{ bits}[/math]。因此，因果涌现[math]CE(S) = 0.40 \text{ bits}[/math]，说明在这种情况下，宏观[math]S_M[/math]的因果性优于微观[math]S_m[/math]，构成了系统的最优因果模型。这是因为[math]S_M[/math]的概率转移矩阵更接近于完美的有效性[[math]Eff(S_M) = 0.78[/math]]，并且粗粒化映射过程中，有效性提升增加的信息量[math]\Delta I_{Eff} = 0.97 \text{ bits}[/math]超过了元素空间减小而损失的信息量[math]\Delta I_{Size} = - 0.57 \text{ bits}[/math]。本例中，在宏观尺度的有效性[math]\Delta I_{Eff}[/math]的增益(91%)主要来自于抵消噪声干扰[确定性系数([math]S_m) = 0.34[/math];([math]S_M) = 0.78[/math]]，少部分(9%)来源于简并性减少[简并系数 ([math]S_m) = 0.05[/math];([math]S_M) = 0.006[/math]]。

注：以状态空间的角度比较[math]S_m[/math]和[math]S_M[/math]，也可以得出宏观尺度的有效性更高。下图中，将[math]S_m[/math]状态{ABCD} =[0001]与相应[math]S_M[/math]状态{αβ} = [off, off]的因果分布进行对比。将[math]S_m =[0001][/math]的因果分布与无约束库(使用[math]D_{KL}[/math]散度)进行比较，得到[math]0.83 bits[/math]的原因信息和[math]0.43 \text{ bits}[/math]的结果信息。而对于宏观[math]S_M[/math]，原因信息为[math]2 \text{ bits}[/math]，结果信息为[math]1.35 \text{ bits}[/math]。因此，[math]{αβ} = [off, off][/math]比[math]{ABCD} =[0001][/math]更有选择性和可信度，宏观战胜了微观。

2.抵消简并性实例分析

系统机制：微观元素A-F是确定性AND门，连接方式对应了高简并度(图A，确定性为1；简并度为0.6)

微观尺度：[math]Eff(S_m) = 0.4[/math], [math]EI(S_m) = 2.43 \text{ bits}[/math](图C)。

粗粒化映射：最优宏观粗粒化分组映射为将6个微观AND门组合成3个宏观COPY门(αβγ)(图B)。

宏观尺度：该系统中宏观和微观都是完全确定性的，但简并性减小 [math]\Delta I_{Eff} = 1.79 \text{ bits}[/math]> - [math]\Delta I_{Size} = 1.22 \text{ bits}[/math]。所以宏观尺度下 [math]Eff(S_M) = 1[/math], [math]EI(S_M) = 3 \text{ bits}[/math]，宏观因果涌现([math]CE = 0.57 \text{ bits}[/math])。

时间因果涌现

对时间进行微观状态分组也会有涌现现象发生，具体形式为：将微观时间步([math]t_x[/math]) 粗粒化为宏观时间步([math]T_x[/math])。下面对图中的时间因果涌现实例进行分析：

系统机制：所有微观元素接收到两个尖峰的输入“发放(burst)”时，会响应一个输出发放，即遵循二阶马尔可夫机制(图A)。

微观尺度：基于一个微观时间步分析(图B)，可以得到 [[math]EI(S_m) = 0.16 \text{ bits}[/math];[math]Eff(S_m) = 0.03[/math]]，因果相互作用较弱。由于系统是二阶机制，进而开展基于两个微观时间步的因果分析(图C)，可以得到 [math]EI(S_m) = 1.38 \text{ bits}[/math]，[math]Eff(S_m) = 0.34[/math]。

粗粒化映射：将微观状态在时间上分组为宏观状态[math]α = {A_t, A_{t+1}}[/math]和[math]β = {B_t, B_{t+1}}[/math](图D)。

宏观尺度：在宏观时间尺度下的 [math]EI(S_M) = 2 \text{ bits}[/math]，[math]Eff(S_M) = 1[/math], [math]CE(S) = 0.62 \text{ bits}[/math]，系统变得完全确定性和非简并 (图E, F)。

时空因果涌现

因果涌现还可以在空间、时间上同步发生，下面对图中实例进行具体分析：

系统机制：

• 元素机制：所有微观元素也遵循二阶马尔可夫机制，整合两个微时间步([math]t_{-2}[/math], [math]t_{-1}[/math]和[math]t_0[/math], [math]t_{+1}[/math])的输入，作出响应。所有微观元素自发活动（发放状态：0，1），具有非均匀的发放概率:[math]p(A/D/G) = 0.45[/math];[math]p(B/E/H) = 0.5[/math];[math]p(C/F/I) = 0.55[/math]。
• 组机制：所有元素被划分为三组[math]{ABC, DEF, GHI}[/math]，在每组内，如果两个时间步内组内连接之和[math]\sum(intra) = 0[/math]，接下来的两个时间步所有元素保持为0。然而，如果在两个时间步中，与另外两组中的组间连接之和[math]\sum(inter) = 6[/math]，则在接下来的两个时间步中，发放概率提高0.5。

微观尺度：微观尺度下的系统具有 [[math]EI(S_m) = 0.59 \text{ bits}[/math]; [math]Eff(S_m) = 0.033[/math]]

粗粒化映射：在宏观尺度[math]S_M[/math]，三组神经元分组为宏观成分，两个微观时间步长([math]t_x[/math])聚合为一个宏观时间步长([math]T_x[/math])(图B)。

宏观尺度：粗粒化后的系统具有更高的[math]EI(S_M) = 3.51 \text{ bits}[/math]，和[math]Eff(S_M) = 0.74[/math]。时空因果涌现发生，[math]CE(S) = 2.92 \text{ bits}[/math]，即粗粒化过后系统确定性的增加，增加程度远超简并性的增加与状态集的减小。

注：本例对应于真实神经元中，宏观成分可表示为有三种状态的“微柱”:“抑制态inhibited”(所有微柱神经元均在Tx时静默)，“感受态receptive”(部分在Tx时放电)和“爆发态bursting”(所有均在Tx处放电)。相应地，宏观的因果相互作用可以总结为，如果其中一个宏观成分处于抑制态，那么只有接收到一次发放才能转换到接受态或（不太可能的）爆发态；否则，它将一直保持抑制态。

应用

复杂网络，生物系统

缺陷与争议

1.依赖粗粒化方法 2.实际适用性