5,443
个编辑
更改
跳到导航
跳到搜索
第135行：
第135行： − 此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章+ − 第147行：
第146行： − + − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{s}p(s) − \max_{\beta\in\alpha^{-}} − \min_{\mathbf{B}\in\beta} − I(S=s;\mathbf{B}), − \end{equation} − 其中 <math>\alpha^{-}</math>表示冗余格中紧接在 <math>\alpha</math>下方的所有节点。由此式可直接证明 <math>\Pi_{\mathbf{R}}</math>是非负的（见附录~D），因而可自然地被解释为一个与源集合 <math>\alpha</math>相关联的信息量。互信息分解为部分信息项之和的关系由下式给出： 第163行：
第153行： − \begin{align}+ − + − &=\Pi_{\mathbf{R}}(S;\{1\})+ − + − − &=\Pi_{\mathbf{R}}(S;\{1\}) − − − − \end{align} − − \begin{itemize} − \item 冗余信息：由式 (8) 得 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。\item 唯一信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。\item 协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。\end{itemize}为了具体理解，考虑图~4A 的示例。由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。确实可验证： − \[ − I(S;R_{1})=I(S;R_{2}) − =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. − \] − 然而，<math>R_{1}</math>与 <math>R_{2}</math> 分别关于 <math>S</math> 的不同结果提供信息。具体而言，已知 <math>R_{1}</math> 时可完全确定 <math>S=2 </math>是否发生（而 <math>R_{2}</math> 不能），反之亦然。这一特征被部分信息捕获： − \[ − \Pi_{\mathbf{R}}(S;\{1\}) − =\Pi_{\mathbf{R}}(S;\{2\}) − =\tfrac{1}{3}, − \] − 表明 <math>R_{1} </math>与 <math>R_{2} </math>各自提供 <math>\frac{1}{3} </math>比特的唯一信息。冗余信息为<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2</math>，反映知道 <math>R_{1}</math>或 <math>R_{2}</math> 中任一个，即可把 <math>S </math>的可能结果从三个减到两个。最后，<math>R_{1} </math>与 <math>R_{2}</math> 还提供 <math>\frac{1}{3}</math>比特的协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}</math>，这反映两者联合可唯一确定 <math>S=0</math> 是否发生，而单独任一个都无法做到。值得注意的是，与互信息或交互信息不同，部分信息不是对称的。例如，<math>R_{1}</math> 与 <math>R_{2} </math>关于 <math>S</math> 的协同信息并不一定等于 <math>S </math>与 <math>R_{2}</math> 关于 <math>R_{1}</math>的协同信息。图~4A 的示例也说明了这一点：已知 <math>S </math>时可唯一确定 <math>R_{1}</math>（及 <math>R_{2}</math>），因此 <math>S</math> 与 <math>R_{2}</math> 不可能再提供任何关于 <math>R_{1} </math>的协同信息，因为一旦知道 <math>S</math>，<math>R_{1}</math>已无任何不确定性。相反，如前所述，<math>R_{1}</math> 与 <math>R_{2}</math> 却能提供 <math>\frac{1}{3}</math> 比特关于 <math>S</math> 的协同信息。这种不对称性正是我们始终聚焦于关于特定变量 <math>S</math>的信息的原因，因为一般而言，分析结果会随所关注的变量不同而异。注意，总信息在这种意义下也是不对称的，即一般而言<math>I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})</math> − （尽管当然有 <math>I(S;R_{1},R_{2})=I(R_{1},R_{2};S)</math>）。 − 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。首先，三变量时的所有可能性在四变量时依然存在： − 每个 <math>R_{i}</math> 可提供唯一信息（区域 <math>\{1\},\{2\},\{3\}</math>）， − 可与另一个变量冗余提供（<math>\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}</math>）， − 也可与另一个变量协同提供（<math>\{12\},\{13\},\{23\}</math>）。 − 此外，信息还可由所有三个变量冗余提供（<math>\{1\}\{2\}\{3\}</math>）， − 或由它们的三阶协同提供（<math>\{123\}</math>）。 − 更有趣的是新的冗余与协同组合项： − 例如，区域 <math>\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}</math> 表示 − “由一个变量单独或与另两个变量联合”冗余提供的信息； − 区域 <math>\{12\}\{13\}\{23\}</math> 则表示 − “三个两两协同之间”冗余提供的信息。一般地，一个 PI-原子对应于集合中所有源之协同的冗余信息，即对应于源集合贡献信息的又一种独特方式。四变量 PI-图共含 <math>(4-1)</math>阶 Dedekind 数 \cite{comtet1974advanced} 个原子 − （即 <math>\lvert\mathcal{A}(\mathbf{R})\rvert</math>，见附录~C）。 − 如前所述，每个 PI-原子代表一种独特的信息贡献方式， − 对应于 <math>\mathbf{R}</math> 的分量关于 <math>S</math>的信息分布的又一种可能。 − 最后，值得考虑冗余格与 <math>n </math>变量 PI-图之间的关系。首先，我们注意到 <math>I_{\min}</math> 类似于 PI-图中的集合交集， − 这与“冗余即重叠信息”的直觉一致。 − 具体而言，<math>I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})</math> 对应于区域 − <math>\bigcap_{i}I(S;\mathbf{A}_{i})</math>。 − 由这一对应关系可建立以下联系： − 对 <math>\alpha,\beta\in\mathcal{A}(\mathbf{R})</math>， − <math>\alpha</math>在冗余格中低于 <math>\beta</math> 当且仅当 − <math>\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A}) 在</math> PI-图中是<math> − \bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B}) </math>的子集。 − 因此，冗余格与 PI-图可视为同一结构的互补表示：PI-图是冗余格按格序“折叠”后的版本，其中区域按格序嵌入。
→其余信息原子计算
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====
冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用<math>I_{\min}</math>的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式定义：
冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。接下来，我们导出<math>I_{\min}</math>的一个逆函数，称为部分信息函数（PI-function）。<math>I_{\min}</math>量化累积信息，而 PI-function 则度量每个特定源集合所唯一贡献的部分信息。这些部分信息将构成我们分解总信息的基本“原子”。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式隐式定义：
\begin{equation}
\begin{equation}
I_{\min}(S;\alpha)
I_{\min}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
\end{equation}
换言之，<math>\Pi_{\mathbf{R}}(S;\alpha) </math>量化的是：<math>\alpha</math>中所有源共同提供的冗余信息中，未被任何比 <math>\alpha</math>更低的源集合 <math>\beta</math>所提供的那部分信息。附录~D 证明 <math>\Pi_{\mathbf{R}}</math> 可写成闭式：
换言之，<math>\Pi_{\mathbf{R}}(S;\alpha) </math>量化的是：<math>\alpha</math>中所有源共同提供的冗余信息中，未被任何比 <math>\alpha</math>更低的源集合 <math>\beta</math>所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
\begin{equation}
I(S;\mathbf{A})
I(S;\mathbf{A})
\end{equation}
\end{equation}
对于三变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，式 (9) 给出
对于三变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，式 (9) 给出
<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
I(S;R_{1})
I(S;R_{1},R_{2}}=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。
这些关系可用部分信息图（PI-diagram）表示（图2），它展示了总信息如何分布到各种不同源组合上。与图1对比，可立即看出每个部分信息项的含义：
+\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
冗余信息：由式 (8) 得 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。唯一信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
I(S;R_{1},R_{2}})
+\Pi_{\mathbf{R}}(S;\{2\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\})
+\Pi_{\mathbf{R}}(S;\{12\}).
这些关系可用部分信息图（PI-diagram）表示（图~3A），它展示了总信息如何分布到各种不同源组合上。与图~1 对比，可立即看出每个部分信息项的含义：
== 冗余信息计算方法 ==
== 冗余信息计算方法 ==