786
个编辑
更改
跳到导航
跳到搜索
第171行：
第171行： − + − + − + 第186行：
第186行： + +
→作为分布差异的有效信息
<math>
<math>
P((\tilde{X}|\tilde{Y}=Y_0,f)=\frac{P(\tilde{X},\tilde{Y_0}}{P(\tilde{Y_0}}=\frac{P(\tilde{X_0})P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0)}=\frac{P(\tilde{Y_0}|\tilde{X})}{N\cdot P(\tilde{Y_0})}
P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{P(\tilde{X},\tilde{Y_0})}{P(\tilde{Y_0})}=\frac{P(\tilde{X_0})P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\frac{P(\tilde{Y_0}|\tilde{X})}{N\cdot P(\tilde{Y_0})}
</math>
</math>
这里的[math]\tilde{Y_0}\equiv \tilde{Y}=Y_0[/math]
这里的[math]\tilde{Y_0}\equiv (\tilde{Y}=Y_0)[/math]
注意，这里的条件概率[math]P(\tilde{Y_0}|\tilde{X})[/math]事实上就是因果机制[math]f[/math]，进一步，把它代入[math]ei(f,Y_0)[/math]的公式，我们不难得到：
注意，这里的条件概率[math]P(\tilde{Y_0}|\tilde{X})[/math]事实上就是因果机制[math]f[/math]，进一步，把它代入[math]ei(f,Y_0)[/math]的公式，我们不难得到：
<math>
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{1}{N}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0)|\tilde{X})}{P(\tilde{Y_0})}
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{1}{N}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
</math>
</math>
EI=\frac{1}{N}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
EI=\frac{1}{N}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
</math>
</math>
对于[math]ei[/math]的引入，有助于我们理解某一个局部的因果机制是如何改变原始变量的分布的，或者用[[Tononi]]的语言来说，这是一种机制的信息产生，详见文章<ref name=tononi_2008 />或[[整合信息论]]。
=马尔科夫链的有效信息=
=马尔科夫链的有效信息=