更改

基于有效信息的因果涌现理论 (查看源代码)

2024年10月22日 (二) 15:51的版本

删除153字节、 2024年10月22日 (二) 15:51

→‎有效信息

第37行：第37行：

有效信息（Effective Information，简称EI）是因果涌现理论中的一个核心概念，它可以用来度量一个马尔科夫动力学的因果效应强度。

−

* EI定义

+

* '''EI定义'''

−

首先，我们先介绍一般情况下的有效信息的定义。因果效应所反映的是动力学机制的有效性，即在给定动力学的情况下，因、果变量状态分布之间的关联程度（其中不能有混淆变量干扰）。由此可见，EI核心目标并非衡量是否存在因果效应，而是关注效应的强度，且更适用于已经明确存在因果关联的场合。更正式地，EI是因果机制的函数，而与其它因素无关，定义如下：

+

首先，我们先定义一般情况下的有效信息。因果效应度量的是系统动力学机制的有效性，即在给定动力学的情况下，因、果变量状态分布之间的关联程度（其中不能有混淆变量干扰）。由此可见，EI核心目标并非衡量是否存在因果效应，而是关注效应的强度，且更适用于已经明确存在因果关联的场合。更正式地，EI是因果机制的函数，而与其它因素无关，定义如下：

第50行：第51行：

do干预这一步是根据[[Judea Pearl]]的[[因果阶梯理论]]<ref name=pearl_causality />提出的。该理论中，[[因果推断]]包含了三个层次，分别是：关联、[[干预]]和[[反事实]]。阶梯层级越高，因果特征越明显。在EI的定义中引入了[math]do[/math]操作上升到干预层级，即设定变量为某个值或服从某个分布，使得EI能够比直接计算[[互信息]]更能体现因果特征。从实际意义上来讲，在EI的计算中引入[[do操作]]，可以把数据和动力学分开，消除数据分布（即[math]X[/math]的分布）对EI度量所带来的影响，均匀分布也避免了对数据的“偏见”。从因果图角度来看，[[do操作]]可以消除EI中的所有指向因变量[math]X[/math]的因果箭头，包括其它变量（包括不可观测的变量）对[math]X[/math]的影响，从而使得EI更能够刻画动力学本身的特性。

−

* 马尔科夫动力系统EI

+

* '''马尔科夫动力系统EI'''

+

回到离散状态的马尔科夫链中，任意时刻的状态变量[math]X_t[/math]可以看作是原因，而下一时刻的状态变量[math]X_{t+1}[/math]就可以看作是结果，[[马尔科夫链]]的[[状态转移矩阵]]就是它的[[因果机制]]。因此，马尔科夫链的有效信息定义如下：

第85行：第87行：

将矩阵每列求均值，可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。[math]D_{KL}[/math]便是两个分布的[[KL散度]]。因此，EI是转移矩阵每个行转移向量[math]P_i[/math]与平均转移向量[math]\bar{P}[/math]的[[KL散度]]的均值。

−

+

* '''计算实例'''

下面，给出三个马尔科夫链的例子，以及相应的EI数值也放到了下面：

第138行：第140行：

第一个转移概率矩阵是一个[[排列矩阵]]（Permutation），它是可逆的，因此确定性最高，没有简并性，因而EI最大；第二个矩阵的前三个状态都会以1/3的概率跳转到彼此，因此确定性程度最低，而简并性也很低，EI是0.81；第三个矩阵虽然也是非0即1的转移概率，因而确定性最高，但是由于后三个状态都跳转到1，因此，从1状态不能推知它来自于哪个状态，因此简并性最高，最终的EI与第二个相同，仍然是0.81。

−

~~因此，所谓一个因果机制[math]f[/math]的有效信息EI，就是被干预后的因变量[math]\tilde{X}[/math]和果变量[math]\tilde{Y}[/math]之间的[[互信息]]。~~

==== 因果涌现度量 ====

相信未来

5,443

个编辑