5,443
个编辑
更改
→有效信息
这里，[math]X[/math]是因变量，[math]Y[/math]是果变量，[math]P[/math]表示[math]X[/math]到[math]Y[/math]的因果机制。[math]X, Y[/math]均为离散状态分布的情境下，[math]P[/math]是一个概率转移矩阵，[math]p_{ij}\equiv Pr(Y=j|X=i)[/math]。[math]do(X\sim U(\mathcal{X}))[/math]代表对[math]X[/math]实施[[do干预]](或称[[do操作]]，英文是do-operator），使其服从[math]\mathcal{X}[/math]上的均匀分布[math]U(\mathcal{X})[/math]，也即是[[最大熵分布]]。在这一干预下，因果机制P保持不变。EI指标度量的是经过do干预后的因变量X与果变量Y之间的互信息。
这里，[math]X[/math]是因变量，[math]Y[/math]是果变量，[math]P[/math]表示[math]X[/math]到[math]Y[/math]的因果机制。当[math]X, Y[/math]均为离散状态分布的情境下，[math]P[/math]为概率转移矩阵，[math]p_{ij}\equiv Pr(Y=j|X=i)[/math]。[math]do(X\sim U(\mathcal{X}))[/math]代表对[math]X[/math]实施[[do干预]](或称[[do操作]]，英文是do-operator），使其服从[math]\mathcal{X}[/math]上的均匀分布[math]U(\mathcal{X})[/math]，也即是[[最大熵分布]]。在这一干预下，因果机制P保持不变。EI指标度量的是经过do干预后的因变量X与果变量Y之间的互信息。
do干预这一步是根据[[Judea Pearl]]的[[因果阶梯理论]]<ref name=pearl_causality />提出的。该理论中，[[因果推断]]包含了三个层次，分别是：关联、[[干预]]和[[反事实]]。阶梯层级越高，因果特征越明显。在EI的定义中引入了[math]do[/math]操作上升到干预层级，即设定变量为某个值或服从某个分布，使得EI能够比直接计算[[互信息]]更能体现因果特征。从实际意义上来讲，在EI的计算中引入[[do操作]]，可以把数据和动力学分开，消除数据分布（即[math]X[/math]的分布）对EI度量所带来的影响，均匀分布也避免了对数据的“偏见”。从因果图角度来看，[[do操作]]可以消除EI中的所有指向因变量[math]X[/math]的因果箭头，包括其它变量（包括不可观测的变量）对[math]X[/math]的影响，从而使得EI更能够刻画动力学本身的特性。
do干预这一步是根据[[Judea Pearl]]的[[因果阶梯理论]]<ref name=pearl_causality />提出的。该理论中，[[因果推断]]包含了三个层次，分别是：关联、[[干预]]和[[反事实]]。阶梯层级越高，因果特征越明显。在EI的定义中引入了[math]do[/math]操作上升到干预层级，即设定变量为某个值或服从某个分布，使得EI能够比直接计算[[互信息]]更能体现因果特征。从实际意义上来讲，在EI的计算中引入[[do操作]]，可以把数据和动力学分开，消除数据分布（即[math]X[/math]的分布）对EI度量所带来的影响，均匀分布也避免了对数据的“偏见”。从因果图角度来看，[[do操作]]可以消除EI中的所有指向因变量[math]X[/math]的因果箭头，包括其它变量（包括不可观测的变量）对[math]X[/math]的影响，从而使得EI更能够刻画动力学本身的特性。
回到离散状态的马尔科夫链中，任意时刻的状态变量[math]X_t[/math]可以看作是原因，而下一时刻的状态变量[math]X_{t+1}[/math]就可以看作是结果，[[马尔科夫链]]的[[状态转移矩阵]]就是它的[[因果机制]]。因此，马尔科夫链的有效信息的定义如下：
回到离散状态的马尔科夫链中，任意时刻的状态变量[math]X_t[/math]可以看作是原因，而下一时刻的状态变量[math]X_{t+1}[/math]就可以看作是结果，[[马尔科夫链]]的[[状态转移矩阵]]就是它的[[因果机制]]。因此，马尔科夫链的有效信息定义如下：
同理，其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把t时刻的[math]X_t[/math][[干预]]为[[均匀分布]]后，前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率，N为总状态数。从这个式子，不难看出，EI仅仅是概率转移矩阵[math]P[/math]的函数。
同理，其中<math>\tilde{X}_t,\tilde{X}_{t+1}</math>分别为把[math]X_t[/math]干预为[[均匀分布]]后，[math]t[/math]时刻与下一时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率，N为总状态数。从这个式子，不难看出，EI仅仅是概率转移矩阵[math]P[/math]的函数。
进一步，为方便计算，我们也可以将[[转移概率矩阵]][math]P[/math]写成[math]N[/math]个行向量拼接而成的形式，即：
<math>
P=(P_1^T,P_2^T,\cdots,P_N^T)^T
</math>
其中，[math]P_i[/math]矩阵[math]P[/math]的第[math]i[/math]个行向量，且满足条件概率的归一化条件：[math]||P_i||_1=1[/math]，这里的[math]||\cdot||_1[/math]表示向量的1范数。那么EI可以写成如下的形式：
{{NumBlk|:|
<math>
\begin{aligned}
EI &= \frac{1}{N}\sum^N_{i=1}\sum^N_{j=1}p_{ij}\log\frac{N\cdot p_{ij}}{\sum_{k=1}^N p_{kj}}\\
&=\frac{1}{N}\cdot \sum_{i=1}^N\left(P_i\cdot \log P_i - P_i\cdot\log \bar{P}\right)\\
&=\frac{1}{N}\sum_{i=1}^N D_{KL}(P_i||\bar{P})
\end{aligned}
</math>
|{{EquationRef|2}}}}
将矩阵每列求均值，可得到平均转移向量<math>\overline{P}=\sum_{k=1}^N P_k/N</math>。[math]D_{KL}[/math]便是两个分布的[[KL散度]]。因此，EI是转移矩阵每个行转移向量[math]P_i[/math]与平均转移向量[math]\bar{P}[/math]的[[KL散度]]的均值。