更改

===其余信息原子计算实例===

===其余信息原子计算实例===

[[文件:图片3476.png|替代=|居中|600x600像素|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果,引自<ref name="Paul" />]]

[[文件:图片3476.png|替代=|居中|600x600像素|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果,引自<ref name="Paul" />]]

为了更具体地理解这些概念，我们来看上图中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：

为了更具体地理解这些概念，我们来看上图中的例子。由于该分布具有对称性，显然 <math>S_1</math> 和 <math>S_2</math> 提供的信息量是相同的。实际上，可以验证：

<math>I(S;R_1) = I(S;R_2) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3}</math>

<math>I(T;S_1) = I(T;S_2) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3}</math>

(但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于不同结果的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以完全确定结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。)

(但也可以清楚地看到，<math>S_1</math> 和 <math>S_2</math> 提供的是关于不同结果的信息。具体来说，只要知道 <math>S_1</math> 的值，就可以完全确定结果 <math>T=2</math> 是否发生（而 <math>S_2</math> 无法做到这一点），反之亦然。)

另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：

另外我们有<math>I(T;S_1,S_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：

<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的[[特有]]信息；

<math>\Pi_S(T;\{1\}) = \Pi_S(T;\{2\}) = \frac{1}{3}</math>，表示 <math>S_1</math> 和 <math>S_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的[[特有]]信息；

[[冗余]]信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从3个减少到2个；

[[冗余]]信息为 <math>\Pi_S(T;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>S_1</math> 或 <math>S_2</math> 中的任意一个，都能将 <math>T</math> 的可能结果从3个减少到2个；

[[协同]]信息为 <math>\Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math>联合起来可以唯一确定 <math>S=0</math> 是否发生，而单独任意一个都无法做到这一点。

[[协同]]信息为 <math>\Pi_S(T;\{12\}) = \frac{1}{3}</math>，表示 <math>S_1</math> 和 <math>S_2</math>联合起来可以唯一确定 <math>T=0</math> 是否发生，而单独任意一个都无法做到这一点。

（需要注意的是，与互信息或交互信息不同，[[部分信息分解]]是相对于选定目标变量的分解，因此交换源变量与目标变量一般会得到不同分解，例如，<math>R_1</math> 和 <math>R_2</math> 关于 <math>S</math> 的[[协同]]信息，通常不等于 <math>S</math> 和 <math>R_2</math> 关于 <math>R_1</math> 的[[协同]]信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>S</math> 的值，就可以唯一确定 <math>R_1</math> 和 <math>R_2</math> 的结果，因此不可能存在 <math>S</math> 和 <math>R_2</math> 联合提供关于 <math>R_1</math> 的[[协同]]信息，因为 <math>R_1</math> 的不确定性已经被 <math>S </math>完全消除了。相反，如前所述，<math>R_1</math> 和 <math>R_2</math> 却提供了关于 <math>S</math> 的[[协同]]信息。这种不对称性也解释了为什么[[部分信息分解]]始终聚焦于关于某个特定变量 <math>S</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）

（需要注意的是，与互信息或交互信息不同，[[部分信息分解]]是相对于选定目标变量的分解，因此交换源变量与目标变量一般会得到不同分解，例如，<math>S_1</math> 和 <math>S_2</math> 关于 <math>T</math> 的[[协同]]信息，通常不等于 <math>T</math> 和 <math>S_2</math> 关于 <math>S_1</math> 的[[协同]]信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>T</math> 的值，就可以唯一确定 <math>S_1</math> 和 <math>S_2</math> 的结果，因此不可能存在 <math>T</math> 和 <math>S_2</math> 联合提供关于 <math>S_1</math> 的[[协同]]信息，因为 <math>S_1</math> 的不确定性已经被 <math>T </math>完全消除了。相反，如前所述，<math>S_1</math> 和 <math>S_2</math> 却提供了关于 <math>T</math> 的[[协同]]信息。这种不对称性也解释了为什么[[部分信息分解]]始终聚焦于关于某个特定变量 <math>T</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）

== 冗余信息计算方法 ==

== 冗余信息计算方法 ==