更改

有效信息（Effective Information，简称EI）是[[因果涌现 Causal Emergence]]理论中的一个核心概念，它可以用来衡量一个马尔科夫动力学的[[因果效应]]的强度。这里，一个马尔科夫动力学的因果效应是指这个系统的上一时刻是如何通过动力学以因果的方式对下一个状态产生影响的。具体地，这种因果效应可以通过强制干预系统处于上一时刻的状态为均匀分布或最大熵分布，从而观察系统经由动力学的作用产生的下一时刻的状态分布，那么在这种干预下，上一时刻和下一时刻状态之间的互信息就被定义为有效信息。尽管在有效信息的定义中引入了do操作，但是本质上这一操作是一种名义上的do操作，目的是为了切断与状态本身分布的联系，从而刻画出系统的动力学特性。另外，有效信息通常可以分解为两个部分：确定性（Determinism）和简并性（Degeneracy）。确定性是指，经过动力学的作用，前一时刻的系统状态会唯一确定性地导致下一时刻的系统某一状态的发生的程度；简并性是指：当我们观察到系统的当前状态，就能够唯一确定地推断出系统在上一时刻是处于什么状态的程度。

有效信息（Effective Information，简称EI）是[[因果涌现 Causal Emergence]]理论中的一个核心概念，它可以用来衡量一个马尔科夫动力学的[[因果效应]]的强度。这里，因果效应是指这个系统的上一时刻状态的概率分布是如何通过动力学对下一个时刻的状态分布产生影响的。具体地，这种因果效应可以通过强制干预系统处于上一时刻的状态分布为均匀分布，从而观察系统经由动力学的作用产生的下一时刻的状态分布是什么，那么在这种干预下，上一时刻和下一时刻状态分布之间的互信息就被定义为有效信息。尽管在有效信息的定义中引入了干预操作，但是本质上这是一种假想的干预，目的是为了切断因果度量与状态本身分布的联系，从而刻画出系统的动力学特性。另外，有效信息通常可以分解为两个部分：确定性（Determinism）和简并性（Degeneracy）。确定性是指，在动力学的作用下，我们根据系统前一时刻的状态会以多大程度预测它的下一时刻状态；简并性是指：我们能够以多大程度从下一时刻的状态预测上一时刻的状态。如果确定性越大，简并性越小，则系统的有效信息就会越大。

=历史渊源=

=历史渊源=

有效信息（effective informaion，EI）这个概念最早由Giulio Tononi等人在2003年提出<ref name=tononi_2003>{{cite journal |last1=Tononi|first1=G.|last2=Sporns|first2=O.|title=Measuring information integration|journal=BMC Neuroscience|volume=4 |issue=31 |year=2003|url=https://doi.org/10.1186/1471-2202-4-31}}</ref>，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统具备很高的[[整合程度]]，而有效信息：EI便是用来度量这种因果关联程度的关键指标。

有效信息（effective informaion，EI）这个概念最早由[[Giulio Tononi]]等人在2003年提出<ref name=tononi_2003>{{cite journal |last1=Tononi|first1=G.|last2=Sporns|first2=O.|title=Measuring information integration|journal=BMC Neuroscience|volume=4 |issue=31 |year=2003|url=https://doi.org/10.1186/1471-2202-4-31}}</ref>，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统便具备很高的[[整合程度]]，而有效信息：EI，便是用来度量这种因果关联程度的关键指标。

后来，到了2013年，Tononi的学生[[Erik Hoel]]等人将有效信息这个概念进一步挖掘出来，发现可以用它来很好地定量刻画涌现，于是提出了[[因果涌现]]理论<ref name=hoel_2013>{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标<ref name=pearl_causality>{{cite book|title=因果论——模型、推理和推断|author1=Judea Pearl|author2=刘礼|author3=杨矫云|author4=廖军|author5=李廉|publisher=机械工业出版社|year=2022|month=4}}</ref>，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果性。在这一文章中，作者们同时提出了[[归一化的有效信息]]指标Eff。

到了2013年，[[Giulio Tononi]]的学生[[Erik Hoel]]等人将有效信息这个概念进一步提炼出来，从而定量地刻画涌现，于是提出了[[因果涌现]]理论<ref name=hoel_2013>{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标<ref name="pearl_causality">{{cite book|title=因果论——模型、推理和推断|author1=Judea Pearl|author2=刘礼|author3=杨矫云|author4=廖军|author5=李廉|publisher=机械工业出版社|year=2022|month=4}}</ref>，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果性。在这一文章中，作者们同时提出了[[归一化的有效信息]]指标Eff。

然而，传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能过扩充到一般的实数域，P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论<ref  name=Chvykov_causal_geometry>{{cite journal|author1=Chvykov P|author2=Hoel E.|title=Causal Geometry|journal=Entropy|year=2021|volume=23|issue=1|page=24|url=https://doi.org/10.3390/e2}}</ref>，将EI的定义扩充到了具备连续状态变量的函数映射上，并通过结合[[信息几何]]理论，探讨了EI的一种微扰形式，并与[[Fisher信息]]指标进行了比较，提出了[[因果几何]]的概念。然而，这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的，这显然是一种特殊情况。

然而，传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能扩充到一般的实数域，P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论<ref  name=Chvykov_causal_geometry>{{cite journal|author1=Chvykov P|author2=Hoel E.|title=Causal Geometry|journal=Entropy|year=2021|volume=23|issue=1|page=24|url=https://doi.org/10.3390/e2}}</ref>，将EI的定义扩充到了具备连续状态变量的函数映射上，并通过结合[[信息几何]]理论，探讨了EI的一种微扰形式，并与[[Fisher信息]]指标进行了比较，提出了[[因果几何]]的概念。然而，这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的，这一要求显然过于苛刻了。

到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[张江]]与[[刘凯威]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式<ref  name=zhang_nis>{{cite journal|title=Neural Information Squeezer for Causal Emergence|first1=Jiang|last1=Zhang|first2=Kaiwei|last2=Liu|journal=Entropy|year=2022|volume=25|issue=1|page=26|url=https://api.semanticscholar.org/CorpusID:246275672}}</ref>。然而，这种扩充仍然存在着一个缺陷，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数[math]L[/math]，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量，如[math]L[/math]无关，而且，[[维度平均EI]]也可以看作是一种[[归一化的EI]]，即Eff。

到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[张江]]与[[刘凯威]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式<ref  name=zhang_nis>{{cite journal|title=Neural Information Squeezer for Causal Emergence|first1=Jiang|last1=Zhang|first2=Kaiwei|last2=Liu|journal=Entropy|year=2022|volume=25|issue=1|page=26|url=https://api.semanticscholar.org/CorpusID:246275672}}</ref>。然而，这种扩充仍然存在着一个缺陷，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数[math]L[/math]，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量，如L无关，而且，[[维度平均EI]]也可以看作是一种[[归一化的EI]]，即Eff。

本质上讲，EI仅仅与一个[[马尔科夫动力系统]]的[[动力学]]——也就是有关[[马尔科夫状态转移矩阵]]有关，而与状态变量的分布无关，然而，这一点在之前的文章中并没有被指出或刻意强调。在2024年的[[袁冰]]等人的综述文章，作者们进一步强调了这一点，并给出了EI仅依赖于[[马尔科夫状态转移矩阵]]的显式形式<ref name=review>{{cite journal|last1=Yuan|first1=Bing|last2=Zhang|first2=Jiang|last3=Lyu|first3=Aobo|last4=Wu|first4=Jiaying|last5=Wang|first5=Zhipeng|last6=Yang|first6=Mingzhe|last7=Liu|first7=Kaiwei|last8=Mou|first8=Muyun|last9=Cui|first9=Peng|year=2024|title=Emergence and Causality in Complex Systems: A Survey of Causal Emergence and Related Quantitative Studies|journal=Entropy|volume=26|issue=2|page=108|url=https://doi.org/10.3390/e26020108}}</ref>。[[张江]]等人在最新的讨论[[动力学可逆性]]与[[因果涌现]]的最新文章中，又指出EI实际上是对底层[[马尔科夫状态转移矩阵]]的[[可逆性]]的一种刻画，于是尝试直接刻画这种[[马尔科夫链的动力学可逆性]]以替代EI<ref name=zhang_reversibility>{{cite journal|author1=Jiang Zhang|author2=Ruyi Tao|author3=Keng Hou Leong|author4=Mingzhe Yang|author5=Bing Yuan|year=2024|title=Dynamical reversibility and a new theory of causal emergence|url=https://arxiv.org/abs/2402.15054}}</ref>。

本质上讲，EI仅仅与一个[[马尔科夫动力系统]]的[[动力学]]——也就是有关[[马尔科夫状态转移矩阵]]有关，而与状态变量的分布无关，然而，这一点在之前的文章中并没有被指出或刻意强调。在2024年的[[袁冰]]等人的综述文章，作者们进一步强调了这一点，并给出了EI仅依赖于[[马尔科夫状态转移矩阵]]的显式形式<ref name=review>{{cite journal|last1=Yuan|first1=Bing|last2=Zhang|first2=Jiang|last3=Lyu|first3=Aobo|last4=Wu|first4=Jiaying|last5=Wang|first5=Zhipeng|last6=Yang|first6=Mingzhe|last7=Liu|first7=Kaiwei|last8=Mou|first8=Muyun|last9=Cui|first9=Peng|year=2024|title=Emergence and Causality in Complex Systems: A Survey of Causal Emergence and Related Quantitative Studies|journal=Entropy|volume=26|issue=2|page=108|url=https://doi.org/10.3390/e26020108}}</ref>。[[张江]]等人在最新的讨论[[动力学可逆性]]与[[因果涌现]]的文章中，又指出EI实际上是对底层[[马尔科夫状态转移矩阵]]的[[可逆性]]的一种刻画，于是尝试直接刻画这种[[马尔科夫链的动力学可逆性]]以替代EI<ref name=zhang_reversibility>{{cite journal|author1=Jiang Zhang|author2=Ruyi Tao|author3=Keng Hou Leong|author4=Mingzhe Yang|author5=Bing Yuan|year=2024|title=Dynamical reversibility and a new theory of causal emergence|url=https://arxiv.org/abs/2402.15054}}</ref>。

=简介=

=简介=