836
个编辑
更改
跳到导航
跳到搜索
第155行：
第155行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→为什么干预成均匀分布？
如果不是均匀分布，也就意味着某些行的熵就会被乘以一个较大的权重，有的行就会被赋予一个较小的权重，这种权重代表了某种“偏见”，因此也就不能做到让EI能够反映因果机制的天然属性了。
如果不是均匀分布，也就意味着某些行的熵就会被乘以一个较大的权重，有的行就会被赋予一个较小的权重，这种权重代表了某种“偏见”，因此也就不能做到让EI能够反映因果机制的天然属性了。
==作为分布差异的有效信息==
在文献<ref name=tononi_2008>{{cite journal|author=GIULIO TONONI|title=Consciousness as Integrated Information: a Provisional Manifesto|journal=Biol. Bull.|volume=215|page=216–242|year=2008}}</ref>中，作者用另一种方式定义了有效信息。这种新形式的有效信息依赖于果变量（Y）的状态，即干预[math]X[/math]为均匀分布以后的[math]Y[/math]的状态为给定的值[math]Y_0[/math]。在这一条件下，有效信息定义为两种分布的[[KL散度]]，这两种概率分布分别是因变量[math]X[/math]的先验分布，即[math]\mathcal{X}[/math]上的均匀分布[math]U[/math]，以及在观察到果变量[math]Y[/math]取值为[math]Y_0[/math]以后，推断出因变量[math]X[/math]的后验分布，[math]P(\tilde{X}|\tilde{Y}=Y_0,f)[/math]，代表的是在对X的do干预下，在保持从X到Y的因果机制f不变的前提下，由X和f产生了一个对果变量的观测值为[math]Y_0[/math]，在这个条件下推断[math]\tilde{X}[/math]的后验概率分布。
那么，这种先验的概率分布和后验的概率分布就会产生一个差异，这个差异就是由因果机制f产生的有效信息，可以定义为：
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)
</math>
这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。由于[[KL散度]]是区分方向的，因此为了保证结果为正，则定义中加上了负号。如果采用其它有关概率分布距离的对称性度量，例如[[推土距离]]等，则可以去掉负号。
事实上，[math]ei(f,Y_0)[/math]是某一个[math]Y_0[/math]取值下的有效信息值，如果我们对所有的[math]Y_0[/math]求平均，则可以得到通常意义下的有效信息，即{{EquationRef|1}}}式。要理解这一点，首先我们需要引入[[贝叶斯公式]]，即：
<math>
P((\tilde{X}|\tilde{Y}=Y_0,f)=\frac{P(\tilde{X},\tilde{Y_0}}{P(\tilde{Y_0}}=\frac{P(\tilde{X_0})P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0)}=\frac{P(\tilde{Y_0}|\tilde{X})}{N\cdot P(\tilde{Y_0})}
</math>
这里的[math]\tilde{Y_0}\equiv \tilde{Y}=Y_0[/math]
注意，这里的条件概率[math]P(\tilde{Y_0}|\tilde{X})[/math]事实上就是因果机制[math]f[/math]，进一步，把它代入[math]ei(f,Y_0)[/math]的公式，我们不难得到：
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{1}{N}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0)|\tilde{X})}{P(\tilde{Y_0})}
</math>
将上式对所有的[math]\tilde{Y_0}[/math]值求期望，可以得到：
<math>
EI=\frac{1}{N}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
</math>
=马尔科夫链的有效信息=
=马尔科夫链的有效信息=