786
个编辑
更改
→Effective Information as the Distribution Difference
==Effective Information as the Distribution Difference==
==Effective Information as the Distribution Difference==
在文献<ref name=tononi_2008>{{cite journal|author=GIULIO TONONI|title=Consciousness as Integrated Information: a Provisional Manifesto|journal=Biol. Bull.|volume=215|page=216–242|year=2008}}</ref>中，作者用另一种方式定义了有效信息。这种新形式的有效信息依赖于果变量（Y）的状态，即干预[math]X[/math]为均匀分布以后的[math]\tilde{Y}[/math]的状态为给定的值[math]Y_0[/math]。在这一条件下，有效信息定义为两种分布的[[KL散度]]，这两种概率分布分别是因变量[math]X[/math]的先验分布，即[math]\mathcal{X}[/math]上的均匀分布[math]U[/math]，以及在从X到Y的因果机制f的作用下，导致果变量[math]Y[/math]变成了另一个变量[math]\tilde{Y}[/math]，那么以观察到这一果变量[math]Y[/math]取值为[math]Y_0[/math]为条件，我们可以反过来推断出因变量[math]\tilde{X}[/math]的后验分布，即[math]P(\tilde{X}|\tilde{Y}=Y_0,f)[/math]。
在文献<ref name='tononi_2008'>{{cite journal|author=GIULIO TONONI|title=Consciousness as Integrated Information: a Provisional Manifesto|journal=Biol. Bull.|volume=215|page=216–242|year=2008}}</ref>中，作者用另一种方式定义了有效信息。这种新形式的有效信息依赖于果变量（Y）的状态，即干预[math]X[/math]为均匀分布以后的[math]\tilde{Y}[/math]的状态为给定的值[math]Y_0[/math]。在这一条件下，有效信息定义为两种分布的[[KL散度]]，这两种概率分布分别是因变量[math]X[/math]的先验分布，即[math]\mathcal{X}[/math]上的均匀分布[math]U[/math]，以及在从X到Y的因果机制f的作用下，导致果变量[math]Y[/math]变成了另一个变量[math]\tilde{Y}[/math]，那么以观察到这一果变量[math]Y[/math]取值为[math]Y_0[/math]为条件，我们可以反过来推断出因变量[math]\tilde{X}[/math]的后验分布，即[math]P(\tilde{X}|\tilde{Y}=Y_0,f)[/math]。
那么，这种先验的概率分布和后验的概率分布就会产生一个差异，这个差异就是由因果机制f产生的有效信息，可以定义为：
那么，这种先验的概率分布和后验的概率分布就会产生一个差异，这个差异就是由因果机制f产生的有效信息，可以定义为：
<math>
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)
ei(f,Y_0)=D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)
</math>
</math>
这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。由于[[KL散度]]是区分方向的，因此为了保证结果为正，则定义中加上了负号。如果采用其它有关概率分布距离的对称性度量，例如[[推土距离]]等，则可以去掉负号。
这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。值得注意的是，在文献<ref name='tononi_2008'/>中，作者没有明确给出[[KL散度]]的形式，在后续的文献中（整合信息论3.0版本<ref name='IIT3.0'>{{cite journal|author1=Oizumi M|author2=Albantakis L|author3=Tononi G|year=2014|title=From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0|journal=PLoS Computational Biology|volume=10|number=5|page=e1003588}}</ref>），作者使用了其它有关概率分布距离的对称性度量形式，例如[[推土距离]]。
事实上，[math]ei(f,Y_0)[/math]是某一个[math]Y_0[/math]取值下的有效信息值，如果我们对所有的[math]Y_0[/math]求平均，则可以得到通常意义下的有效信息，即{{EquationNote|1}}式。要理解这一点，首先我们需要引入[[贝叶斯公式]]，即：
事实上，[math]ei(f,Y_0)[/math]是某一个[math]Y_0[/math]取值下的有效信息值，如果我们对所有的[math]Y_0[/math]求平均，则可以得到通常意义下的有效信息，即{{EquationNote|1}}式。要理解这一点，首先我们需要引入[[贝叶斯公式]]，即：
<math>
<math>
ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\log \#(\mathcal{X})+\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
ei(f,Y_0)=D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=-\log \#(\mathcal{X})-\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
</math>
</math>
<math>
<math>
EI=\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))-\log \#(\mathcal{X})
EI=\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\log \#(\mathcal{X})-\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))
</math>
</math>
对于[math]ei[/math]的引入，有助于我们理解某一个局部的因果机制是如何改变原始变量的分布的，或者用[[Tononi]]的语言来说，这是一种机制的信息产生，详见文章<ref name=tononi_2008 />或[[整合信息论]]。
对于[math]ei[/math]的引入，有助于我们理解某一个局部的因果机制是如何改变原始变量的分布的，或者用[[Tononi]]的语言来说，这是一种机制的信息产生，详见文章<ref name=tononi_2008 />或[[整合信息论]]。
=Effective Information of Markov Chains=
=Effective Information of Markov Chains=