更改

原始的有效信息是定义在离散的马尔科夫链上的。然而，为了能够更广泛地应用，在这里我们探讨有效信息的更一般的形式。

原始的有效信息是定义在离散的马尔科夫链上的。然而，为了能够更广泛地应用，在这里我们探讨有效信息的更一般的形式。

考虑两个随机变量：[math]X[/math]和[math]Y[/math]，分别代表因变量（Cause Variable）和果变量（Effect Variable），并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]。同时，我们需要说明[math]X[/math]如何影响[math]Y[/math]的，这通常可以用因果机制[math]f[/math]进行描述。所谓的因果机制是指在给定[math]X[/math]取值[math]x\in \mathcal{X}[/math]下，[math]Y[/math]在[math]\mathcal{Y}[/math]上任意取值[math]y\in \mathcal{Y}[/math]的条件概率：

考虑两个随机变量：[math]X[/math]和[math]Y[/math]，分别代表因变量（Cause Variable）和果变量（Effect Variable），并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]。同时，[math]X[/math]是通过因果机制[math]f[/math]影响[math]Y[/math]的。所谓的因果机制是指在给定[math]X[/math]取值[math]x\in \mathcal{X}[/math]的情况下，[math]Y[/math]在[math]\mathcal{Y}[/math]上任意取值[math]y\in \mathcal{Y}[/math]的条件概率：

 

 

<math>

<math>

f\equiv Pr(Y=y|X=x)

f\equiv Pr(Y=y|X=x)

</math>

</math>

则针对这个因果机制[math]f[/math]，它所对应的有效信息EI的定义为：

则针对这个因果机制[math]f[/math]，它所对应的有效信息EI的定义为：

</math>

</math>

这里，[math]do(X~U(\mathcal{X}))[/math]代表对[math]X[/math]实施do干预，使其服从[math]\mathcal{X}[/math]上的均匀分布。[math]\tilde{X}[/math]与[math]\tilde{Y}[/math]分别代表在经过[math]do[/math]干预后的[math]X[/math]和[math]Y[/math]变量，并且在这个干预中，始终保持因果机制[math]f[/math]不变。这样：

这里，[math]do(X~U(\mathcal{X}))[/math]代表对[math]X[/math]实施do干预，使其服从[math]\mathcal{X}[/math]上的均匀分布[math]U(\mathcal{X})[/math]。[math]\tilde{X}[/math]与[math]\tilde{Y}[/math]分别代表在经过[math]do[/math]干预后的[math]X[/math]和[math]Y[/math]变量，其中，

 

 

 

在这个干预中，我们要始终保持因果机制[math]f[/math]不变，这就会导致[math]Y[/math]的概率分布发生变化，即被间接干预成为：

<math>

<math>

</math>

</math>

因此，所谓机制[math]f[/math]的有效信息EI，就是[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]的互信息。这里[math]\tilde{X}[/math]代表被[math]do[/math]干预后的[math]X[/math]变量，[math]\tilde{Y}[/math]则代表，在保持因果机制[math]f[/math]不变的情况下，当[math]X[/math]被干预后，被间接改变分布的[math]Y[/math]变量。

其中，[math]\tilde{Y}[/math]则代表，在保持因果机制[math]f[/math]不变的情况下，当[math]X[/math]被干预后，被间接改变分布的[math]Y[/math]变量。