199
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − + + + + + + + + +
无编辑摘要
=历史渊源=
=历史渊源=
有效信息（effective informaion，EI）这个概念最早由Giulio Tononi等人在2003年提出，最初用来度量一个系统的整合程度。当一个系统各个组分之间具有很强的关联时，可以说这个系统有很高的整合程度。EI便是用来度量这种关联。在同一时期，因果科学开始蓬勃发展。Tononi的学生Erik Hoel发现EI中[[Ising模型与最大熵分布|最大熵分布]]的设定使其与因果的概念不谋而合，所以EI本质上是在度量一种因果效应。实际上，对于任何一个随机过程，我们都可以用类似的办法来计算其动力学的因果强度。结合多尺度视角，Hoel借此发展出了一套[[因果涌现 Causal Emergence|因果涌现]]理论。
有效信息（effective informaion，EI）这个概念最早由Giulio Tononi等人在2003年提出，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统具备很高的[[整合程度]]，而有效信息：EI便是用来度量这种因果关联程度的关键指标。
后来，到了2013年，Tononi的学生[[Erik Hoel]]等人将有效信息这个概念进一步挖掘出来，发现可以用它来很好地定量刻画涌现，于是提出了[[因果涌现]]理论。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果性。在这一文章中，作者们同时提出了[[归一化的有效信息]]指标。
然而，传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能过扩充到一般的实数域，P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论，将EI的定义扩充到了具备连续状态变量的函数映射上，并通过结合[[信息几何]]理论，探讨了EI的一种微扰形式，并与[[Fisher信息]]指标进行了比较，提出了[[因果几何]]的概念。然而，这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的，这显然是一种特殊情况。
到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式。然而，这样计算的缺陷是，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量无关。
实际上，对于任何一个随机过程，我们都可以用类似的办法来计算其动力学的因果强度。结合多尺度视角，Hoel借此发展出了一套[[因果涌现 Causal Emergence|因果涌现]]理论。
=Do形式及解释=
=Do形式及解释=