有效信息 - 版本历史

Jake：/* EI与JS散度 */

2025-05-23T05:56:22Z

EI与JS散度

Jake：/* 确定性和简并性 */

2025-05-23T05:55:55Z

确定性和简并性

相信未来：/* 确定性与简并性 */

2024-12-24T12:13:38Z

确定性与简并性

相信未来：/* 因果涌现 */

2024-11-20T13:59:20Z

因果涌现

刘易明：/* EI与其它因果度量指标 */

2024-10-30T07:15:53Z

EI与其它因果度量指标

相信未来：/* 简介 */

2024-10-24T10:02:35Z

简介

相信未来：/* 简介 */

2024-10-24T10:02:02Z

简介

Jake：/* 作为分布差异的有效信息 */

2024-10-02T02:26:58Z

作为分布差异的有效信息

Jake：/* 作为分布差异的有效信息 */

2024-10-02T02:25:10Z

作为分布差异的有效信息

Jake：/* 作为分布差异的有效信息 */

2024-09-30T01:54:01Z

作为分布差异的有效信息

@@ 第1,218行： / 第1,218行： @@
 其中，[math]P_i,i\in[1,m][/math]为一组概率分布向量，m为它们的维度，而[math]\pi=(\pi_1,\pi_2,\cdots,\pi_n)[/math]为一组权重，并满足：[math]\pi_i\in[0,1],\forall i\in[1,n][/math]和[math]\sum_{i=1}^n\pi_i=1[/math]。
-通过与公式{{EquationNote|tow_terms}}比较，不难发现，当[math]\pi_i=\frac{1}{n}[/math]，则[math]JSD_{\pi}[/math]就退化为EI了。
+通过与公式{{EquationNote|two_terms}}比较，不难发现，当[math]\pi_i=\frac{1}{n}[/math]，则[math]JSD_{\pi}[/math]就退化为EI了。
 在文献<ref name=GJSD>{{cite conference|author1=Erik Englesson|author2=Hossein Azizpour|title=Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels|conference=35th Conference on Neural Information Processing Systems (NeurIPS 2021)|year=2021}}</ref>中，作者们讨论了广义JS散度在分类多样性度量方面的应用。因此，EI也可以理解为是对行向量多样化程度的一种度量。

@@ 第322行： / 第322行： @@
 \end{aligned}
 </math>
-|{{EquationRef|tow_terms}}}}
+|{{EquationRef|two_terms}}}}
 其中，第一项：[math]-\langle H(P_i)\rangle\equiv \frac{1}{N}\sum_{i=1}^N H(P_i)[/math]为每个行向量[math]P_i[/math]的负熵的平均值，它刻画了整个马尔科夫转移矩阵的'''确定性'''（determinism）；

@@ 第329行： / 第329行： @@
 ===确定性与简并性===
-然而上述定义中的确定性项和非简并性都是负数，为此，我们重新定义一个马尔科夫链转移矩阵P的'''确定性'''为：
+然而上述定义中的确定性项和简并性都是负数，为此，我们重新定义一个马尔科夫链转移矩阵P的'''确定性'''为：
 <math>

@@ 第592行： / 第592行： @@
 &1/3     &1/3           &1/3           &0& \\
 &1/3     &1/3           &1/3           &0& \\
-&0       &1             &0             &1& \\
+&0       &0             &0             &1& \\
 \end{pmatrix}
 </math>,

@@ 第1,041行： / 第1,041行： @@
 ==EI与其它因果度量指标==
-EI是一种度量因果机制中因果变量的因果联系强弱的一种指标。而在EI提出之前，已有多个因果度量指标被提出了。那么，EI和这些因果度量指标之间存在着什么样的联系呢？事实上，正如Comolatti与Hoel在2022年的文章中所指出的，包括EI在内的这些因果度量指标都可以统一表达为两个基本要素的组合<ref name=":0">Comolatti, R., & Hoel, E. (2022). Causal emergence is widespread across measures of causation. ''arXiv preprint arXiv:2202.01854''.</ref>。这两个基本要素被称为“因果元语”（Causal Primatives），分别代表了因果关系中的'''充分性'''和'''必要性'''。
+EI是一种度量因果机制中因果变量的因果联系强弱的一种指标。而在EI提出之前，已有多个[[因果度量]]指标被提出了。那么，EI和这些因果度量指标之间存在着什么样的联系呢？事实上，正如Comolatti与Hoel在2022年的文章中所指出的，包括EI在内的这些因果度量指标都可以统一表达为两个基本要素的组合<ref name=":0">Comolatti, R., & Hoel, E. (2022). Causal emergence is widespread across measures of causation. ''arXiv preprint arXiv:2202.01854''.</ref>。这两个基本要素被称为“因果元语”（Causal Primatives），分别代表了因果关系中的'''充分性'''和'''必要性'''。
 === 因果元语的定义 ===

@@ 第34行： / 第34行： @@
 |+马尔科夫链示例
 |[[文件:P1.png|替代=P_1的状态转移图|居中|无框|168x168像素|P_1的状态转移图]]
-|[[文件:P2.png|居中|无框|200x200像素]]
+|[[文件:P2.png|替代=P_2的状态转移图|居中|无框|200x200像素|P_2的状态转移图]]
 |[[文件:P3.png|替代=P_3的状态转移图|居中|无框|164x164像素|P_3的状态转移图]]
 |-

@@ 第158行： / 第158行： @@
 ==作为分布差异的有效信息==
-在文献<ref name=tononi_2008>{{cite journal|author=GIULIO TONONI|title=Consciousness as Integrated Information: a Provisional Manifesto|journal=Biol. Bull.|volume=215|page=216–242|year=2008}}</ref>中，作者用另一种方式定义了有效信息。这种新形式的有效信息依赖于果变量（Y）的状态，即干预[math]X[/math]为均匀分布以后的[math]\tilde{Y}[/math]的状态为给定的值[math]Y_0[/math]。在这一条件下，有效信息定义为两种分布的[[KL散度]]，这两种概率分布分别是因变量[math]X[/math]的先验分布，即[math]\mathcal{X}[/math]上的均匀分布[math]U[/math]，以及在从X到Y的因果机制f的作用下，导致果变量[math]Y[/math]变成了另一个变量[math]\tilde{Y}[/math]，那么以观察到这一果变量[math]Y[/math]取值为[math]Y_0[/math]为条件，我们可以反过来推断出因变量[math]\tilde{X}[/math]的后验分布，即[math]P(\tilde{X}|\tilde{Y}=Y_0,f)[/math]。
+在文献<ref name='tononi_2008'>{{cite journal|author=GIULIO TONONI|title=Consciousness as Integrated Information: a Provisional Manifesto|journal=Biol. Bull.|volume=215|page=216–242|year=2008}}</ref>中，作者用另一种方式定义了有效信息。这种新形式的有效信息依赖于果变量（Y）的状态，即干预[math]X[/math]为均匀分布以后的[math]\tilde{Y}[/math]的状态为给定的值[math]Y_0[/math]。在这一条件下，有效信息定义为两种分布的[[KL散度]]，这两种概率分布分别是因变量[math]X[/math]的先验分布，即[math]\mathcal{X}[/math]上的均匀分布[math]U[/math]，以及在从X到Y的因果机制f的作用下，导致果变量[math]Y[/math]变成了另一个变量[math]\tilde{Y}[/math]，那么以观察到这一果变量[math]Y[/math]取值为[math]Y_0[/math]为条件，我们可以反过来推断出因变量[math]\tilde{X}[/math]的后验分布，即[math]P(\tilde{X}|\tilde{Y}=Y_0,f)[/math]。
 那么，这种先验的概率分布和后验的概率分布就会产生一个差异，这个差异就是由因果机制f产生的有效信息，可以定义为：
@@ 第166行： / 第166行： @@
 </math>
-这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。值得注意的是，在文献<ref name=tononi_2008>中，作者没有明确给出[[KL散度]]的形式，在后续的文献中（整合信息论3.0版本<ref name='IIT3.0'>{{cite journal|author1=Oizumi M|author2=Albantakis L|author3=Tononi G|year=2014|title=From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0|journal=PLoS Computational Biology|volume=10|number=5|page=e1003588}}</ref>），作者使用了其它有关概率分布距离的对称性度量形式，例如[[推土距离]]。
+这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。值得注意的是，在文献<ref name='tononi_2008'/>中，作者没有明确给出[[KL散度]]的形式，在后续的文献中（整合信息论3.0版本<ref name='IIT3.0'>{{cite journal|author1=Oizumi M|author2=Albantakis L|author3=Tononi G|year=2014|title=From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0|journal=PLoS Computational Biology|volume=10|number=5|page=e1003588}}</ref>），作者使用了其它有关概率分布距离的对称性度量形式，例如[[推土距离]]。
 事实上，[math]ei(f,Y_0)[/math]是某一个[math]Y_0[/math]取值下的有效信息值，如果我们对所有的[math]Y_0[/math]求平均，则可以得到通常意义下的有效信息，即{{EquationNote|1}}式。要理解这一点，首先我们需要引入[[贝叶斯公式]]，即：

@@ 第163行： / 第163行： @@
 <math>
-ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)
+ei(f,Y_0)=D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)
 </math>
-这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。由于[[KL散度]]是区分方向的，因此为了保证结果为正，则定义中加上了负号。如果采用其它有关概率分布距离的对称性度量，例如[[推土距离]]等，则可以去掉负号。
+这里，[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]分别表示将[math]X[/math]干预成均匀分布后（即先验分布），在因果机制[math]f[/math]保持不变的前提下的因变量和果变量。值得注意的是，在文献<ref name=tononi_2008>中，作者没有明确给出[[KL散度]]的形式，在后续的文献中（整合信息论3.0版本<ref name='IIT3.0'>{{cite journal|author1=Oizumi M|author2=Albantakis L|author3=Tononi G|year=2014|title=From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0|journal=PLoS Computational Biology|volume=10|number=5|page=e1003588}}</ref>），作者使用了其它有关概率分布距离的对称性度量形式，例如[[推土距离]]。
 事实上，[math]ei(f,Y_0)[/math]是某一个[math]Y_0[/math]取值下的有效信息值，如果我们对所有的[math]Y_0[/math]求平均，则可以得到通常意义下的有效信息，即{{EquationNote|1}}式。要理解这一点，首先我们需要引入[[贝叶斯公式]]，即：
@@ 第178行： / 第178行： @@
 <math>
-ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\log \#(\mathcal{X})+\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
+ei(f,Y_0)=D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=-\log \#(\mathcal{X})-\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
 </math>
@@ 第184行： / 第184行： @@
 <math>
-EI=\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))-\log \#(\mathcal{X})
+EI=\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\log \#(\mathcal{X})-\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))
 </math>

@@ 第171行： / 第171行： @@
 <math>
-P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{P(\tilde{X},\tilde{Y_0})}{P(\tilde{Y_0})}=\frac{P(\tilde{X_0})P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\frac{P(\tilde{Y_0}|\tilde{X})}{N\cdot P(\tilde{Y_0})}
+P(\tilde{X}|\tilde{Y}=Y_0,f)=\frac{P(\tilde{X},\tilde{Y_0})}{P(\tilde{Y_0})}=\frac{P(\tilde{X_0})P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\frac{P(\tilde{Y_0}|\tilde{X})}{\#(\mathcal{X})\cdot P(\tilde{Y_0})}
 </math>
@@ 第178行： / 第178行： @@
 <math>
-ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\log N+\frac{1}{N}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
+ei(f,Y_0)=-D_{KL}(U||P(\tilde{X}|\tilde{Y}=Y_0,f)=\log \#(\mathcal{X})+\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X}}\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}
 </math>
@@ 第184行： / 第184行： @@
 <math>
-EI=\frac{1}{N}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))-\log N
+EI=\frac{1}{\#(\mathcal{X})}\sum_{\tilde{X},\tilde{Y_0}}P(\tilde{Y_0}|\tilde{X})\log\frac{P(\tilde{Y_0}|\tilde{X})}{P(\tilde{Y_0})}=\mathbb{E}_{P(\tilde{Y_0}|\tilde{X})}(ei(f,Y_0))-\log \#(\mathcal{X})
 </math>