5,443
个编辑
更改
→其余信息原子计算
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====
此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章
此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章
冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。接下来，我们导出<math>I_{\min}</math>的一个逆函数，称为部分信息函数（PI-function）。<math>I_{\min}</math>量化累积信息，而 PI-function 则度量每个特定源集合所唯一贡献的部分信息。这些部分信息将构成我们分解总信息的基本“原子”。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式隐式定义：
\begin{equation}
I_{\min}(S;\alpha)
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
形式上，<math>\Pi_{\mathbf{R}}</math> 对应于<math>I_{\min}</math>的莫比乌斯反演。由该关系可递归计算<math>\Pi_{\mathbf{R}}</math>：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
换言之，<math>\Pi_{\mathbf{R}}(S;\alpha) </math>量化的是：<math>\alpha</math>中所有源共同提供的冗余信息中，未被任何比 <math>\alpha</math>更低的源集合 <math>\beta</math>所提供的那部分信息。附录~D 证明 <math>\Pi_{\mathbf{R}}</math> 可写成闭式：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{s}p(s)
\max_{\beta\in\alpha^{-}}
\min_{\mathbf{B}\in\beta}
I(S=s;\mathbf{B}),
\end{equation}
其中 <math>\alpha^{-}</math>表示冗余格中紧接在 <math>\alpha</math>下方的所有节点。由此式可直接证明 <math>\Pi_{\mathbf{R}}</math>是非负的（见附录~D），因而可自然地被解释为一个与源集合 <math>\alpha</math>相关联的信息量。互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
I(S;\mathbf{A})
=I_{\min}(S;\{\mathbf{A}\})
=\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
对于三变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，式 (9) 给出
\begin{align}
I(S;R_{1})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
I(S;R_{1},R_{2}})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{2\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\})
+\Pi_{\mathbf{R}}(S;\{12\}).
\end{align}
这些关系可用部分信息图（PI-diagram）表示（图~3A），它展示了总信息如何分布到各种不同源组合上。与图~1 对比，可立即看出每个部分信息项的含义：
\begin{itemize}
\item 冗余信息：由式 (8) 得 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。\item 唯一信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。\item 协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。\end{itemize}为了具体理解，考虑图~4A 的示例。由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。确实可验证：
\[
I(S;R_{1})=I(S;R_{2})
=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
\]
然而，<math>R_{1}</math>与 <math>R_{2}</math> 分别关于 <math>S</math> 的不同结果提供信息。具体而言，已知 <math>R_{1}</math> 时可完全确定 <math>S=2 </math>是否发生（而 <math>R_{2}</math> 不能），反之亦然。这一特征被部分信息捕获：
\[
\Pi_{\mathbf{R}}(S;\{1\})
=\Pi_{\mathbf{R}}(S;\{2\})
=\tfrac{1}{3},
\]
表明 <math>R_{1} </math>与 <math>R_{2} </math>各自提供 <math>\frac{1}{3} </math>比特的唯一信息。冗余信息为<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2</math>，反映知道 <math>R_{1}</math>或 <math>R_{2}</math> 中任一个，即可把 <math>S </math>的可能结果从三个减到两个。最后，<math>R_{1} </math>与 <math>R_{2}</math> 还提供 <math>\frac{1}{3}</math>比特的协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}</math>，这反映两者联合可唯一确定 <math>S=0</math> 是否发生，而单独任一个都无法做到。值得注意的是，与互信息或交互信息不同，部分信息不是对称的。例如，<math>R_{1}</math> 与 <math>R_{2} </math>关于 <math>S</math> 的协同信息并不一定等于 <math>S </math>与 <math>R_{2}</math> 关于 <math>R_{1}</math>的协同信息。图~4A 的示例也说明了这一点：已知 <math>S </math>时可唯一确定 <math>R_{1}</math>（及 <math>R_{2}</math>），因此 <math>S</math> 与 <math>R_{2}</math> 不可能再提供任何关于 <math>R_{1} </math>的协同信息，因为一旦知道 <math>S</math>，<math>R_{1}</math>已无任何不确定性。相反，如前所述，<math>R_{1}</math> 与 <math>R_{2}</math> 却能提供 <math>\frac{1}{3}</math> 比特关于 <math>S</math> 的协同信息。这种不对称性正是我们始终聚焦于关于特定变量 <math>S</math>的信息的原因，因为一般而言，分析结果会随所关注的变量不同而异。注意，总信息在这种意义下也是不对称的，即一般而言<math>I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})</math>
（尽管当然有 <math>I(S;R_{1},R_{2})=I(R_{1},R_{2};S)</math>）。
当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。首先，三变量时的所有可能性在四变量时依然存在：
每个 <math>R_{i}</math> 可提供唯一信息（区域 <math>\{1\},\{2\},\{3\}</math>），
可与另一个变量冗余提供（<math>\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}</math>），
也可与另一个变量协同提供（<math>\{12\},\{13\},\{23\}</math>）。
此外，信息还可由所有三个变量冗余提供（<math>\{1\}\{2\}\{3\}</math>），
或由它们的三阶协同提供（<math>\{123\}</math>）。
更有趣的是新的冗余与协同组合项：
例如，区域 <math>\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}</math> 表示
“由一个变量单独或与另两个变量联合”冗余提供的信息；
区域 <math>\{12\}\{13\}\{23\}</math> 则表示
“三个两两协同之间”冗余提供的信息。一般地，一个 PI-原子对应于集合中所有源之协同的冗余信息，即对应于源集合贡献信息的又一种独特方式。四变量 PI-图共含 <math>(4-1)</math>阶 Dedekind 数 \cite{comtet1974advanced} 个原子
（即 <math>\lvert\mathcal{A}(\mathbf{R})\rvert</math>，见附录~C）。
如前所述，每个 PI-原子代表一种独特的信息贡献方式，
对应于 <math>\mathbf{R}</math> 的分量关于 <math>S</math>的信息分布的又一种可能。
最后，值得考虑冗余格与 <math>n </math>变量 PI-图之间的关系。首先，我们注意到 <math>I_{\min}</math> 类似于 PI-图中的集合交集，
这与“冗余即重叠信息”的直觉一致。
具体而言，<math>I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})</math> 对应于区域
<math>\bigcap_{i}I(S;\mathbf{A}_{i})</math>。
由这一对应关系可建立以下联系：
对 <math>\alpha,\beta\in\mathcal{A}(\mathbf{R})</math>，
<math>\alpha</math>在冗余格中低于 <math>\beta</math> 当且仅当
<math>\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A}) 在</math> PI-图中是<math>
\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B}) </math>的子集。
因此，冗余格与 PI-图可视为同一结构的互补表示：PI-图是冗余格按格序“折叠”后的版本，其中区域按格序嵌入。
== 冗余信息计算方法 ==
== 冗余信息计算方法 ==