3,094
个编辑
更改
无编辑摘要
有效信息（effective informaion，EI）这个概念最早由Giulio Tononi等人在2003年提出，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统具备很高的[[整合程度]]，而有效信息：EI便是用来度量这种因果关联程度的关键指标。
有效信息（effective informaion，EI）这个概念最早由Giulio Tononi等人在2003年提出，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统具备很高的[[整合程度]]，而有效信息：EI便是用来度量这种因果关联程度的关键指标。
后来，到了2013年，Tononi的学生[[Erik Hoel]]等人将有效信息这个概念进一步挖掘出来，发现可以用它来很好地定量刻画涌现，于是提出了[[因果涌现]]理论。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果性。在这一文章中，作者们同时提出了[[归一化的有效信息]]指标。
后来，到了2013年，Tononi的学生[[Erik Hoel]]等人将有效信息这个概念进一步挖掘出来，发现可以用它来很好地定量刻画涌现，于是提出了[[因果涌现]]理论。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果性。在这一文章中，作者们同时提出了[[归一化的有效信息]]指标Eff。
然而，传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能过扩充到一般的实数域，P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论，将EI的定义扩充到了具备连续状态变量的函数映射上，并通过结合[[信息几何]]理论，探讨了EI的一种微扰形式，并与[[Fisher信息]]指标进行了比较，提出了[[因果几何]]的概念。然而，这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的，这显然是一种特殊情况。
然而，传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能过扩充到一般的实数域，P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论，将EI的定义扩充到了具备连续状态变量的函数映射上，并通过结合[[信息几何]]理论，探讨了EI的一种微扰形式，并与[[Fisher信息]]指标进行了比较，提出了[[因果几何]]的概念。然而，这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的，这显然是一种特殊情况。
到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式。然而，这样计算的缺陷是，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数[math]L[/math]，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量无关。
到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式。然而，这种扩充仍然存在着一个缺陷，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数[math]L[/math]，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量，如[math]L[/math]无关，而且，[[维度平均EI]]也可以看作是一种[[归一化的EI]]，即Eff。
=Do形式及解释=
=Do形式及解释=
=Markovian matrix 形式（TPM）=
=Markovian matrix 形式（TPM）=
Erik Hoel进一步将EI应用在一个随机过程的背景下，输入变量为<math>X_t</math>，输出变量为<math>X_{t+1}</math>，在将<math>X_t</math>干预为最大熵分布时，计算二者之间的互信息。在离散情况下，最大熵分布即为均匀分布。因为这里的EI计算只关乎两个时刻，在干预的情况下更早的历史变量不起作用，所以Hoel假定该过程的动力学就是一个满足马尔科夫性的概率转移矩阵。下面给出几个马尔科夫概率转移矩阵的示例。
Erik Hoel进一步将EI应用在一个随机过程的背景下，输入变量为<math>X_t</math>，输出变量为<math>X_{t+1}</math>，在将<math>X_t</math>干预为最大熵分布时，计算二者之间的互信息。在离散情况下，最大熵分布即为均匀分布。因为这里的EI计算只关乎两个时刻，在干预的情况下更早的历史变量不起作用，所以Hoel假定该过程的动力学就是一个满足马尔科夫性的概率转移矩阵。下面给出几个马尔科夫概率转移矩阵的示例。
[[文件:TPM EI.png|0.1px|无框|居中|几个概率转移矩阵的案例]]
[[文件:TPM EI.png|871x871px|居中|几个概率转移矩阵的案例|替代=]]
马尔科夫矩阵中每个元素都是一个条件概率，满足行归一化。将输入变量概率分布和矩阵直接相乘便得到输出变量的概率分布。因为有干预，所以EI的大小只和转移矩阵本身有关。已知马尔科夫概率转移矩阵，我们可以用下式计算EI。
马尔科夫矩阵中每个元素都是一个条件概率，满足行归一化。将输入变量概率分布和矩阵直接相乘便得到输出变量的概率分布。因为有干预，所以EI的大小只和转移矩阵本身有关。已知马尔科夫概率转移矩阵，我们可以用下式计算EI。