175
个编辑
更改
跳到导航
跳到搜索
第411行：
第411行： − 为了更具体地理解这些概念，我们来看上图中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：+ − \[+ − − \] − + − 这一特征被 PI 分解准确地捕捉到了：+ − \begin{itemize}+ − \item <math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的\textbf{独有信息}； − \item 冗余信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从 3 个减少到 2 个； − \item 协同信息为 <math>\Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> \textbf{联合起来}可以唯一确定 <math>S=0</math> 是否发生，而单独任意一个都无法做到这一点。 − \end{itemize} − 需要注意的是，与互信息或交互信息不同，\textbf{部分信息是不对称的}。例如，<math>R_1</math> 和 <math>R_2</math> 关于 <math>S</math> 的协同信息，通常\textbf{不等于} <math>S</math> 和 <math>R_2</math> 关于 <math>R_1</math> 的协同信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>S</math> 的值，就可以唯一确定 <math>R_1</math> 和 <math>R_2</math> 的结果，因此\textbf{不可能}存在 <math>S</math> 和 <math>R_2</math> 联合提供关于 <math>R_1</math> 的协同信息，因为 <math>R_1</math> 的不确定性已经被 <math>S </math>完全消除了。+ − 相反，如前所述，<math>R_1</math> 和 <math>R_2</math> 却提供了关于 <math>S</math> 的协同信息。这种不对称性也解释了为什么我们始终聚焦于\textbf{关于某个特定变量 <math>S</math> 的信息}，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。+ + +
→其余信息原子计算两个例子
==== 其余信息原子计算两个例子 ====
==== 其余信息原子计算两个例子 ====
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：
<math>I(S;R_1) = I(S;R_2) = \frac{1}{3} \log 3 - \frac{2}{3} \log \frac{2}{3}</math>
I(S;R_1) = I(S;R_2) = \frac{1}{3} \log 3 - \frac{2}{3} \log \frac{2}{3}
但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于\textbf{不同结果}的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以\textbf{完全确定}结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。
(但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于不同结果的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以完全确定结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。)
另外我们有<math>I(S;R_1,R_2) = \frac{1}{3} \log 3 - \frac{2}{3} \log \frac{2}{3}</math>
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的独有信息；
冗余信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从 3 个减少到 2 个；
协同信息为 <math>\Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math>联合起来可以唯一确定 <math>S=0</math> 是否发生，而单独任意一个都无法做到这一点。
（需要注意的是，与互信息或交互信息不同，部分信息是不对称的。例如，<math>R_1</math> 和 <math>R_2</math> 关于 <math>S</math> 的协同信息，通常不等于 <math>S</math> 和 <math>R_2</math> 关于 <math>R_1</math> 的协同信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>S</math> 的值，就可以唯一确定 <math>R_1</math> 和 <math>R_2</math> 的结果，因此不可能存在 <math>S</math> 和 <math>R_2</math> 联合提供关于 <math>R_1</math> 的协同信息，因为 <math>R_1</math> 的不确定性已经被 <math>S </math>完全消除了。相反，如前所述，<math>R_1</math> 和 <math>R_2</math> 却提供了关于 <math>S</math> 的协同信息。这种不对称性也解释了为什么我们始终聚焦于关于某个特定变量 <math>S</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）
== 冗余信息计算方法 ==
== 冗余信息计算方法 ==