5,443
个编辑
更改
→冗余信息计算方法
+\Pi_{\mathbf{R}}(S;\{12\}).
+\Pi_{\mathbf{R}}(S;\{12\}).
\end{equation}
\end{equation}
这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
它展示了总信息如何分布到各种不同源组合上。
与图~1 对比，可立即看出每个部分信息项的含义：
\begin{itemize}
\item 冗余信息：
由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
即 $R_{1}$ 与 $R_{2}$ 的冗余。
\item 唯一信息：
$\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
\item 协同信息：
$\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
多出来的那部分信息，即\emph{协同}。
\end{itemize}
为了具体理解，考虑图~4A 的示例。
由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
确实可验证：
\[
I(S;R_{1})=I(S;R_{2})
=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
\]
然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
（而 $R_{2}$ 不能），反之亦然。
这一特征被部分信息捕获：
\[
\Pi_{\mathbf{R}}(S;\{1\})
=\Pi_{\mathbf{R}}(S;\{2\})
=\tfrac{1}{3},
\]
表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
冗余信息为
$\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
$\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
值得注意的是，与互信息或交互信息不同，
部分信息\emph{不是对称的}。
例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
图~4A 的示例也说明了这一点：
已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
因为一般而言，分析结果会随所关注的变量不同而异。
注意，总信息在这种意义下也是不对称的，
即一般而言
$I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
（尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
首先，三变量时的所有可能性在四变量时依然存在：
每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
或由它们的三阶协同提供（$\{123\}$）。
更有趣的是新的\emph{冗余与协同组合}项：
例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
“由一个变量单独或与另两个变量联合”冗余提供的信息；
区域 $\{12\}\{13\}\{23\}$ 则表示
“三个两两协同之间”冗余提供的信息。
一般地，一个 PI-原子对应于
\emph{集合中所有源之协同的冗余信息}，
即对应于源集合贡献信息的又一种独特方式。
四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
（即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
如前所述，每个 PI-原子代表一种独特的信息贡献方式，
对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
这与“冗余即重叠信息”的直觉一致。
具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
$\bigcap_{i}I(S;\mathbf{A}_{i})$。
由这一对应关系可建立以下联系：
对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
$\alpha$ 在冗余格中低于 $\beta$ 当且仅当
$\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
$\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
因此，冗余格与 PI-图可视为同一结构的互补表示：
PI-图是冗余格按格序“折叠”后的版本，
其中区域按格序嵌入。
%-----------------------------------------------------------------%-------------------------- Part IV --------------------------
\section{部分信息分解}
\label{sec:pid}
冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
$I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
这些部分信息将构成我们分解总信息的基本“原子”。
对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
\begin{equation}
I_{\min}(S;\alpha)
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
由该关系可递归计算 $\Pi_{\mathbf{R}}$：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
\emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{s}p(s)
\max_{\beta\in\alpha^{-}}
\min_{\mathbf{B}\in\beta}
I(S=s;\mathbf{B}),
\end{equation}
其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
I(S;\mathbf{A})
=I_{\min}(S;\{\mathbf{A}\})
=\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
\begin{align}
I(S;R_{1})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
I(S;R_{1},R_{2}})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{2\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\})
+\Pi_{\mathbf{R}}(S;\{12\}).
\end{align}
这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
它展示了总信息如何分布到各种不同源组合上。
与图~1 对比，可立即看出每个部分信息项的含义：
\begin{itemize}
\item 冗余信息：
由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
即 $R_{1}$ 与 $R_{2}$ 的冗余。
\item 唯一信息：
$\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
\item 协同信息：
$\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
多出来的那部分信息，即\emph{协同}。
\end{itemize}
为了具体理解，考虑图~4A 的示例。
由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
确实可验证：
\[
I(S;R_{1})=I(S;R_{2})
=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
\]
然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
（而 $R_{2}$ 不能），反之亦然。
这一特征被部分信息捕获：
\[
\Pi_{\mathbf{R}}(S;\{1\})
=\Pi_{\mathbf{R}}(S;\{2\})
=\tfrac{1}{3},
\]
表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
冗余信息为
$\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
$\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
值得注意的是，与互信息或交互信息不同，
部分信息\emph{不是对称的}。
例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
图~4A 的示例也说明了这一点：
已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
因为一般而言，分析结果会随所关注的变量不同而异。
注意，总信息在这种意义下也是不对称的，
即一般而言
$I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
（尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
首先，三变量时的所有可能性在四变量时依然存在：
每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
或由它们的三阶协同提供（$\{123\}$）。
更有趣的是新的\emph{冗余与协同组合}项：
例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
“由一个变量单独或与另两个变量联合”冗余提供的信息；
区域 $\{12\}\{13\}\{23\}$ 则表示
“三个两两协同之间”冗余提供的信息。
一般地，一个 PI-原子对应于
\emph{集合中所有源之协同的冗余信息}，
即对应于源集合贡献信息的又一种独特方式。
四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
（即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
如前所述，每个 PI-原子代表一种独特的信息贡献方式，
对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
这与“冗余即重叠信息”的直觉一致。
具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
$\bigcap_{i}I(S;\mathbf{A}_{i})$。
由这一对应关系可建立以下联系：
对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
$\alpha$ 在冗余格中低于 $\beta$ 当且仅当
$\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
$\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
因此，冗余格与 PI-图可视为同一结构的互补表示：
PI-图是冗余格按格序“折叠”后的版本，
其中区域按格序嵌入。
%----------------------------------------------------------------%-------------------------- Part IV --------------------------
\section{部分信息分解}
\label{sec:pid}
冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
$I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
这些部分信息将构成我们分解总信息的基本“原子”。
对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
\begin{equation}
I_{\min}(S;\alpha)
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
由该关系可递归计算 $\Pi_{\mathbf{R}}$：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
\emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{s}p(s)
\max_{\beta\in\alpha^{-}}
\min_{\mathbf{B}\in\beta}
I(S=s;\mathbf{B}),
\end{equation}
其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
I(S;\mathbf{A})
=I_{\min}(S;\{\mathbf{A}\})
=\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
\begin{align}
I(S;R_{1})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
I(S;R_{1},R_{2}})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{2\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\})
+\Pi_{\mathbf{R}}(S;\{12\}).
\end{align}
这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
它展示了总信息如何分布到各种不同源组合上。
与图~1 对比，可立即看出每个部分信息项的含义：
\begin{itemize}
\item 冗余信息：
由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
即 $R_{1}$ 与 $R_{2}$ 的冗余。
\item 唯一信息：
$\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
\item 协同信息：
$\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
多出来的那部分信息，即\emph{协同}。
\end{itemize}
为了具体理解，考虑图~4A 的示例。
由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
确实可验证：
\[
I(S;R_{1})=I(S;R_{2})
=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
\]
然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
（而 $R_{2}$ 不能），反之亦然。
这一特征被部分信息捕获：
\[
\Pi_{\mathbf{R}}(S;\{1\})
=\Pi_{\mathbf{R}}(S;\{2\})
=\tfrac{1}{3},
\]
表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
冗余信息为
$\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
$\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
值得注意的是，与互信息或交互信息不同，
部分信息\emph{不是对称的}。
例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
图~4A 的示例也说明了这一点：
已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
因为一般而言，分析结果会随所关注的变量不同而异。
注意，总信息在这种意义下也是不对称的，
即一般而言
$I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
（尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
首先，三变量时的所有可能性在四变量时依然存在：
每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
或由它们的三阶协同提供（$\{123\}$）。
更有趣的是新的\emph{冗余与协同组合}项：
例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
“由一个变量单独或与另两个变量联合”冗余提供的信息；
区域 $\{12\}\{13\}\{23\}$ 则表示
“三个两两协同之间”冗余提供的信息。
一般地，一个 PI-原子对应于
\emph{集合中所有源之协同的冗余信息}，
即对应于源集合贡献信息的又一种独特方式。
四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
（即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
如前所述，每个 PI-原子代表一种独特的信息贡献方式，
对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
这与“冗余即重叠信息”的直觉一致。
具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
$\bigcap_{i}I(S;\mathbf{A}_{i})$。
由这一对应关系可建立以下联系：
对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
$\alpha$ 在冗余格中低于 $\beta$ 当且仅当
$\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
$\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
因此，冗余格与 PI-图可视为同一结构的互补表示：
PI-图是冗余格按格序“折叠”后的版本，
其中区域按格序嵌入。
%----------------------------------------------------------------%-------------------------- Part IV --------------------------
\section{部分信息分解}
\label{sec:pid}
冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
$I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
这些部分信息将构成我们分解总信息的基本“原子”。
对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
\begin{equation}
I_{\min}(S;\alpha)
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
由该关系可递归计算 $\Pi_{\mathbf{R}}$：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
\emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{s}p(s)
\max_{\beta\in\alpha^{-}}
\min_{\mathbf{B}\in\beta}
I(S=s;\mathbf{B}),
\end{equation}
其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
I(S;\mathbf{A})
=I_{\min}(S;\{\mathbf{A}\})
=\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
\begin{align}
I(S;R_{1})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
I(S;R_{1},R_{2}})
&=\Pi_{\mathbf{R}}(S;\{1\})
+\Pi_{\mathbf{R}}(S;\{2\})
+\Pi_{\mathbf{R}}(S;\{1\}\{2\})
+\Pi_{\mathbf{R}}(S;\{12\}).
\end{align}
这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
它展示了总信息如何分布到各种不同源组合上。
它展示了总信息如何分布到各种不同源组合上。