更改

原始的有效信息是定义在离散的马尔科夫链上的。然而，为了能够更广泛地应用，在这里我们探讨有效信息的更一般的形式。

原始的有效信息是定义在离散的马尔科夫链上的。然而，为了能够更广泛地应用，在这里我们探讨有效信息的更一般的形式。

===形式定义===

==形式定义==

考虑两个随机变量：[math]X[/math]和[math]Y[/math]，分别代表因变量（Cause Variable）和果变量（Effect Variable），并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]。同时，[math]X[/math]是通过因果机制[math]f[/math]影响[math]Y[/math]的。所谓的因果机制是指在给定[math]X[/math]取值[math]x\in \mathcal{X}[/math]的情况下，[math]Y[/math]在[math]\mathcal{Y}[/math]上任意取值[math]y\in \mathcal{Y}[/math]的条件概率：

考虑两个随机变量：[math]X[/math]和[math]Y[/math]，分别代表因变量（Cause Variable）和果变量（Effect Variable），并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]。同时，[math]X[/math]是通过因果机制[math]f[/math]影响[math]Y[/math]的。所谓的因果机制是指在给定[math]X[/math]取值[math]x\in \mathcal{X}[/math]的情况下，[math]Y[/math]在[math]\mathcal{Y}[/math]上任意取值[math]y\in \mathcal{Y}[/math]的条件概率：

因此，所谓一个因果机制[math]f[/math]的有效信息EI，就是被干预后的因变量[math]\tilde{X}[/math]和果变量[math]\tilde{Y}[/math]之间的[[互信息]]。

因此，所谓一个因果机制[math]f[/math]的有效信息EI，就是被干预后的因变量[math]\tilde{X}[/math]和果变量[math]\tilde{Y}[/math]之间的[[互信息]]。

===为什么要使用do算子？===

==为什么要使用do算子？==

不难看出，尽管EI本质上就是[[互信息]]，但是与传统[[信息论]]中的[[互信息]]不同，有效信息EI在定义中包含了[[do操作]]，即对输入变量做了一个[[干预]]操作。为什么要引入这一操作呢？

不难看出，尽管EI本质上就是[[互信息]]，但是与传统[[信息论]]中的[[互信息]]不同，有效信息EI在定义中包含了[[do操作]]，即对输入变量做了一个[[干预]]操作。为什么要引入这一操作呢？

然而，值得指出的是，EI定义里面的[[do操作]]

然而，值得指出的是，EI定义里面的[[do操作]]

===为什么干预成均匀分布？===

==为什么干预成均匀分布？==

在[[Erik Hoel]]的原始定义中，[[do操作]]是将因变量[math]X[/math]干预成了在其定义域[math]\mathcal{X}[/math]上的[[均匀分布]]（也就是[[最大熵分布]]）。那么， 为什么要干预成[[均匀分布]]呢？其它分布是否也可以？

在[[Erik Hoel]]的原始定义中，[[do操作]]是将因变量[math]X[/math]干预成了在其定义域[math]\mathcal{X}[/math]上的[[均匀分布]]（也就是[[最大熵分布]]）。那么， 为什么要干预成[[均匀分布]]呢？其它分布是否也可以？