2,426
个编辑
更改
跳到导航
跳到搜索
第144行：
第144行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
If the distribution is not uniform, some rows will be assigned a larger weight, while others will be given a smaller weight. This weight represents a certain bias, which prevents the EI from reflecting the natural properties of the causal mechanism.
If the distribution is not uniform, some rows will be assigned a larger weight, while others will be given a smaller weight. This weight represents a certain bias, which prevents the EI from reflecting the natural properties of the causal mechanism.
==Effective Information as the Distribution Difference==
在文献<ref name=tononi_2008>{{cite journal|author=GIULIO TONONI|title=Consciousness as Integrated Information: a Provisional Manifesto|journal=Biol. Bull.|volume=215|page=216–242|year=2008}}</ref>中，作者用另一种方式定义了有效信息。这种新形式的有效信息依赖于果变量（Y）的状态，即干预[math]X[/math]为均匀分布以后的[math]\tilde{Y}[/math]的状态为给定的值[math]Y_0[/math]。在这一条件下，有效信息定义为两种分布的[[KL散度]]，这两种概率分布分别是因变量[math]X[/math]的先验分布，即[math]\mathcal{X}[/math]上的均匀分布[math]U[/math]，以及在从X到Y的因果机制f的作用下，导致果变量[math]Y[/math]变成了另一个变量[math]\tilde{Y}[/math]，那么以观察到这一果变量[math]Y[/math]取值为[math]Y_0[/math]为条件，我们可以反过来推断出因变量[math]\tilde{X}[/math]的后验分布，即[math]P(\tilde{X}|\tilde{Y}=Y_0,f)[/math]。
那么，这种先验的概率分布和后验的概率分布就会产生一个差异，这个差异就是由因果机制f产生的有效信息，可以定义为：
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)
</math>
这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。由于[[KL散度]]是区分方向的，因此为了保证结果为正，则定义中加上了负号。如果采用其它有关概率分布距离的对称性度量，例如[[推土距离]]等，则可以去掉负号。
事实上，[math]ei(f,Y_0)[/math]是某一个[math]Y_0[/math]取值下的有效信息值，如果我们对所有的[math]Y_0[/math]求平均，则可以得到通常意义下的有效信息，即{{EquationNote|1}}式。要理解这一点，首先我们需要引入[[贝叶斯公式]]，即：
<math>
P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{P(\tilde{X},\tilde{Y_0})}{P(\tilde{Y_0})}=\frac{P(\tilde{X_0})P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\frac{P(\tilde{Y_0}|\tilde{X})}{\#(\mathcal{X})\cdot P(\tilde{Y_0})}
</math>
这里的[math]\tilde{Y_0}\equiv (\tilde{Y}=Y_0)[/math].
注意，这里的条件概率[math]P(\tilde{Y_0}|\tilde{X})[/math]事实上就是因果机制[math]f[/math]，进一步，把它代入[math]ei(f,Y_0)[/math]的公式，我们不难得到：
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\log \#(\mathcal{X})+\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
</math>
将上式对所有的[math]\tilde{Y_0}[/math]值求期望，可以得到：
<math>
EI=\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))-\log \#(\mathcal{X})
</math>
对于[math]ei[/math]的引入，有助于我们理解某一个局部的因果机制是如何改变原始变量的分布的，或者用[[Tononi]]的语言来说，这是一种机制的信息产生，详见文章<ref name=tononi_2008 />或[[整合信息论]]。
=Effective Information of Markov Chains=
=Effective Information of Markov Chains=