| 第88行： |
第88行： |
| | | | |
| | 比如 | | 比如 |
| − |
| |
| − |
| |
| − | %-------------------------- Part IV --------------------------
| |
| − | \section{部分信息分解}
| |
| − | \label{sec:pid}
| |
| − |
| |
| − | 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
| |
| − | 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
| |
| − | 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
| |
| − | $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
| |
| − | 这些部分信息将构成我们分解总信息的基本“原子”。
| |
| − |
| |
| − | 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
| |
| − | \begin{equation}
| |
| − | I_{\min}(S;\alpha)
| |
| − | =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
| |
| − | 由该关系可递归计算 $\Pi_{\mathbf{R}}$：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
| |
| − | \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
| |
| − | 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{s}p(s)
| |
| − | \max_{\beta\in\alpha^{-}}
| |
| − | \min_{\mathbf{B}\in\beta}
| |
| − | I(S=s;\mathbf{B}),
| |
| − | \end{equation}
| |
| − | 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
| |
| − | 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
| |
| − | 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
| |
| − |
| |
| − | 互信息分解为部分信息项之和的关系由下式给出：
| |
| − | \begin{equation}
| |
| − | I(S;\mathbf{A})
| |
| − | =I_{\min}(S;\{\mathbf{A}\})
| |
| − | =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
| |
| − | \begin{equation}
| |
| − | I(S;R_{1})
| |
| − | =\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\})
| |
| − | \end{equation}
| |
| − | 和
| |
| − | \begin{equation}
| |
| − | I(S;R_{1},R_{2}})
| |
| − | =\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{12\}).
| |
| − | \end{equation}
| |
| − | 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
| |
| − | 它展示了总信息如何分布到各种不同源组合上。
| |
| − | 与图~1 对比，可立即看出每个部分信息项的含义：
| |
| − | \begin{itemize}
| |
| − | \item 冗余信息：
| |
| − | 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 与 $R_{2}$ 的冗余。
| |
| − | \item 唯一信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
| |
| − | \item 协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
| |
| − | 多出来的那部分信息，即\emph{协同}。
| |
| − | \end{itemize}
| |
| − |
| |
| − | 为了具体理解，考虑图~4A 的示例。
| |
| − | 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
| |
| − | 确实可验证：
| |
| − | \[
| |
| − | I(S;R_{1})=I(S;R_{2})
| |
| − | =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
| |
| − | \]
| |
| − | 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
| |
| − | 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
| |
| − | （而 $R_{2}$ 不能），反之亦然。
| |
| − | 这一特征被部分信息捕获：
| |
| − | \[
| |
| − | \Pi_{\mathbf{R}}(S;\{1\})
| |
| − | =\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | =\tfrac{1}{3},
| |
| − | \]
| |
| − | 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
| |
| − | 冗余信息为
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
| |
| − | 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
| |
| − | 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
| |
| − | 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
| |
| − |
| |
| − | 值得注意的是，与互信息或交互信息不同，
| |
| − | 部分信息\emph{不是对称的}。
| |
| − | 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
| |
| − | 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
| |
| − | 图~4A 的示例也说明了这一点：
| |
| − | 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
| |
| − | 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
| |
| − | 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
| |
| − | 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
| |
| − | 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
| |
| − | 因为一般而言，分析结果会随所关注的变量不同而异。
| |
| − | 注意，总信息在这种意义下也是不对称的，
| |
| − | 即一般而言
| |
| − | $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
| |
| − | （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
| |
| − |
| |
| − | 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
| |
| − | 首先，三变量时的所有可能性在四变量时依然存在：
| |
| − | 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
| |
| − | 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
| |
| − | 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
| |
| − | 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
| |
| − | 或由它们的三阶协同提供（$\{123\}$）。
| |
| − | 更有趣的是新的\emph{冗余与协同组合}项：
| |
| − | 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
| |
| − | “由一个变量单独或与另两个变量联合”冗余提供的信息；
| |
| − | 区域 $\{12\}\{13\}\{23\}$ 则表示
| |
| − | “三个两两协同之间”冗余提供的信息。
| |
| − | 一般地，一个 PI-原子对应于
| |
| − | \emph{集合中所有源之协同的冗余信息}，
| |
| − | 即对应于源集合贡献信息的又一种独特方式。
| |
| − |
| |
| − | 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
| |
| − | （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
| |
| − | 如前所述，每个 PI-原子代表一种独特的信息贡献方式，
| |
| − | 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
| |
| − |
| |
| − | 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
| |
| − | 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
| |
| − | 这与“冗余即重叠信息”的直觉一致。
| |
| − | 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
| |
| − | $\bigcap_{i}I(S;\mathbf{A}_{i})$。
| |
| − | 由这一对应关系可建立以下联系：
| |
| − | 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
| |
| − | $\alpha$ 在冗余格中低于 $\beta$ 当且仅当
| |
| − | $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
| |
| − | $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
| |
| − | 因此，冗余格与 PI-图可视为同一结构的互补表示：
| |
| − | PI-图是冗余格按格序“折叠”后的版本，
| |
| − | 其中区域按格序嵌入。
| |
| − | %-----------------------------------------------------------------%-------------------------- Part IV --------------------------
| |
| − | \section{部分信息分解}
| |
| − | \label{sec:pid}
| |
| − |
| |
| − | 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
| |
| − | 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
| |
| − | 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
| |
| − | $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
| |
| − | 这些部分信息将构成我们分解总信息的基本“原子”。
| |
| − |
| |
| − | 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
| |
| − | \begin{equation}
| |
| − | I_{\min}(S;\alpha)
| |
| − | =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
| |
| − | 由该关系可递归计算 $\Pi_{\mathbf{R}}$：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
| |
| − | \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
| |
| − | 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{s}p(s)
| |
| − | \max_{\beta\in\alpha^{-}}
| |
| − | \min_{\mathbf{B}\in\beta}
| |
| − | I(S=s;\mathbf{B}),
| |
| − | \end{equation}
| |
| − | 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
| |
| − | 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
| |
| − | 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
| |
| − |
| |
| − | 互信息分解为部分信息项之和的关系由下式给出：
| |
| − | \begin{equation}
| |
| − | I(S;\mathbf{A})
| |
| − | =I_{\min}(S;\{\mathbf{A}\})
| |
| − | =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
| |
| − | \begin{align}
| |
| − | I(S;R_{1})
| |
| − | &=\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
| |
| − | I(S;R_{1},R_{2}})
| |
| − | &=\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{12\}).
| |
| − | \end{align}
| |
| − | 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
| |
| − | 它展示了总信息如何分布到各种不同源组合上。
| |
| − | 与图~1 对比，可立即看出每个部分信息项的含义：
| |
| − | \begin{itemize}
| |
| − | \item 冗余信息：
| |
| − | 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 与 $R_{2}$ 的冗余。
| |
| − | \item 唯一信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
| |
| − | \item 协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
| |
| − | 多出来的那部分信息，即\emph{协同}。
| |
| − | \end{itemize}
| |
| − |
| |
| − | 为了具体理解，考虑图~4A 的示例。
| |
| − | 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
| |
| − | 确实可验证：
| |
| − | \[
| |
| − | I(S;R_{1})=I(S;R_{2})
| |
| − | =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
| |
| − | \]
| |
| − | 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
| |
| − | 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
| |
| − | （而 $R_{2}$ 不能），反之亦然。
| |
| − | 这一特征被部分信息捕获：
| |
| − | \[
| |
| − | \Pi_{\mathbf{R}}(S;\{1\})
| |
| − | =\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | =\tfrac{1}{3},
| |
| − | \]
| |
| − | 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
| |
| − | 冗余信息为
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
| |
| − | 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
| |
| − | 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
| |
| − | 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
| |
| − |
| |
| − | 值得注意的是，与互信息或交互信息不同，
| |
| − | 部分信息\emph{不是对称的}。
| |
| − | 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
| |
| − | 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
| |
| − | 图~4A 的示例也说明了这一点：
| |
| − | 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
| |
| − | 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
| |
| − | 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
| |
| − | 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
| |
| − | 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
| |
| − | 因为一般而言，分析结果会随所关注的变量不同而异。
| |
| − | 注意，总信息在这种意义下也是不对称的，
| |
| − | 即一般而言
| |
| − | $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
| |
| − | （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
| |
| − |
| |
| − | 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
| |
| − | 首先，三变量时的所有可能性在四变量时依然存在：
| |
| − | 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
| |
| − | 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
| |
| − | 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
| |
| − | 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
| |
| − | 或由它们的三阶协同提供（$\{123\}$）。
| |
| − | 更有趣的是新的\emph{冗余与协同组合}项：
| |
| − | 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
| |
| − | “由一个变量单独或与另两个变量联合”冗余提供的信息；
| |
| − | 区域 $\{12\}\{13\}\{23\}$ 则表示
| |
| − | “三个两两协同之间”冗余提供的信息。
| |
| − | 一般地，一个 PI-原子对应于
| |
| − | \emph{集合中所有源之协同的冗余信息}，
| |
| − | 即对应于源集合贡献信息的又一种独特方式。
| |
| − |
| |
| − | 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
| |
| − | （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
| |
| − | 如前所述，每个 PI-原子代表一种独特的信息贡献方式，
| |
| − | 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
| |
| − |
| |
| − | 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
| |
| − | 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
| |
| − | 这与“冗余即重叠信息”的直觉一致。
| |
| − | 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
| |
| − | $\bigcap_{i}I(S;\mathbf{A}_{i})$。
| |
| − | 由这一对应关系可建立以下联系：
| |
| − | 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
| |
| − | $\alpha$ 在冗余格中低于 $\beta$ 当且仅当
| |
| − | $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
| |
| − | $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
| |
| − | 因此，冗余格与 PI-图可视为同一结构的互补表示：
| |
| − | PI-图是冗余格按格序“折叠”后的版本，
| |
| − | 其中区域按格序嵌入。
| |
| − | %----------------------------------------------------------------%-------------------------- Part IV --------------------------
| |
| − | \section{部分信息分解}
| |
| − | \label{sec:pid}
| |
| − |
| |
| − | 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
| |
| − | 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
| |
| − | 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
| |
| − | $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
| |
| − | 这些部分信息将构成我们分解总信息的基本“原子”。
| |
| − |
| |
| − | 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
| |
| − | \begin{equation}
| |
| − | I_{\min}(S;\alpha)
| |
| − | =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
| |
| − | 由该关系可递归计算 $\Pi_{\mathbf{R}}$：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
| |
| − | \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
| |
| − | 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{s}p(s)
| |
| − | \max_{\beta\in\alpha^{-}}
| |
| − | \min_{\mathbf{B}\in\beta}
| |
| − | I(S=s;\mathbf{B}),
| |
| − | \end{equation}
| |
| − | 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
| |
| − | 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
| |
| − | 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
| |
| − |
| |
| − | 互信息分解为部分信息项之和的关系由下式给出：
| |
| − | \begin{equation}
| |
| − | I(S;\mathbf{A})
| |
| − | =I_{\min}(S;\{\mathbf{A}\})
| |
| − | =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
| |
| − | \begin{align}
| |
| − | I(S;R_{1})
| |
| − | &=\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
| |
| − | I(S;R_{1},R_{2}})
| |
| − | &=\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{12\}).
| |
| − | \end{align}
| |
| − | 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
| |
| − | 它展示了总信息如何分布到各种不同源组合上。
| |
| − | 与图~1 对比，可立即看出每个部分信息项的含义：
| |
| − | \begin{itemize}
| |
| − | \item 冗余信息：
| |
| − | 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 与 $R_{2}$ 的冗余。
| |
| − | \item 唯一信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
| |
| − | \item 协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
| |
| − | 多出来的那部分信息，即\emph{协同}。
| |
| − | \end{itemize}
| |
| − |
| |
| − | 为了具体理解，考虑图~4A 的示例。
| |
| − | 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
| |
| − | 确实可验证：
| |
| − | \[
| |
| − | I(S;R_{1})=I(S;R_{2})
| |
| − | =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
| |
| − | \]
| |
| − | 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
| |
| − | 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
| |
| − | （而 $R_{2}$ 不能），反之亦然。
| |
| − | 这一特征被部分信息捕获：
| |
| − | \[
| |
| − | \Pi_{\mathbf{R}}(S;\{1\})
| |
| − | =\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | =\tfrac{1}{3},
| |
| − | \]
| |
| − | 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
| |
| − | 冗余信息为
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
| |
| − | 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
| |
| − | 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
| |
| − | 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
| |
| − |
| |
| − | 值得注意的是，与互信息或交互信息不同，
| |
| − | 部分信息\emph{不是对称的}。
| |
| − | 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
| |
| − | 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
| |
| − | 图~4A 的示例也说明了这一点：
| |
| − | 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
| |
| − | 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
| |
| − | 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
| |
| − | 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
| |
| − | 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
| |
| − | 因为一般而言，分析结果会随所关注的变量不同而异。
| |
| − | 注意，总信息在这种意义下也是不对称的，
| |
| − | 即一般而言
| |
| − | $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
| |
| − | （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
| |
| − |
| |
| − | 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
| |
| − | 首先，三变量时的所有可能性在四变量时依然存在：
| |
| − | 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
| |
| − | 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
| |
| − | 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
| |
| − | 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
| |
| − | 或由它们的三阶协同提供（$\{123\}$）。
| |
| − | 更有趣的是新的\emph{冗余与协同组合}项：
| |
| − | 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
| |
| − | “由一个变量单独或与另两个变量联合”冗余提供的信息；
| |
| − | 区域 $\{12\}\{13\}\{23\}$ 则表示
| |
| − | “三个两两协同之间”冗余提供的信息。
| |
| − | 一般地，一个 PI-原子对应于
| |
| − | \emph{集合中所有源之协同的冗余信息}，
| |
| − | 即对应于源集合贡献信息的又一种独特方式。
| |
| − |
| |
| − | 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
| |
| − | （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
| |
| − | 如前所述，每个 PI-原子代表一种独特的信息贡献方式，
| |
| − | 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
| |
| − |
| |
| − | 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
| |
| − | 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
| |
| − | 这与“冗余即重叠信息”的直觉一致。
| |
| − | 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
| |
| − | $\bigcap_{i}I(S;\mathbf{A}_{i})$。
| |
| − | 由这一对应关系可建立以下联系：
| |
| − | 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
| |
| − | $\alpha$ 在冗余格中低于 $\beta$ 当且仅当
| |
| − | $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
| |
| − | $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
| |
| − | 因此，冗余格与 PI-图可视为同一结构的互补表示：
| |
| − | PI-图是冗余格按格序“折叠”后的版本，
| |
| − | 其中区域按格序嵌入。
| |
| − | %----------------------------------------------------------------%-------------------------- Part IV --------------------------
| |
| − | \section{部分信息分解}
| |
| − | \label{sec:pid}
| |
| − |
| |
| − | 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。
| |
| − | 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。
| |
| − | 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。
| |
| − | $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。
| |
| − | 这些部分信息将构成我们分解总信息的基本“原子”。
| |
| − |
| |
| − | 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义：
| |
| − | \begin{equation}
| |
| − | I_{\min}(S;\alpha)
| |
| − | =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。
| |
| − | 由该关系可递归计算 $\Pi_{\mathbf{R}}$：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中，
| |
| − | \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。
| |
| − | 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式：
| |
| − | \begin{equation}
| |
| − | \Pi_{\mathbf{R}}(S;\alpha)
| |
| − | =I_{\min}(S;\alpha)
| |
| − | -\sum_{s}p(s)
| |
| − | \max_{\beta\in\alpha^{-}}
| |
| − | \min_{\mathbf{B}\in\beta}
| |
| − | I(S=s;\mathbf{B}),
| |
| − | \end{equation}
| |
| − | 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。
| |
| − | 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D），
| |
| − | 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。
| |
| − |
| |
| − | 互信息分解为部分信息项之和的关系由下式给出：
| |
| − | \begin{equation}
| |
| − | I(S;\mathbf{A})
| |
| − | =I_{\min}(S;\{\mathbf{A}\})
| |
| − | =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
| |
| − | \end{equation}
| |
| − | 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出
| |
| − | \begin{align}
| |
| − | I(S;R_{1})
| |
| − | &=\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm]
| |
| − | I(S;R_{1},R_{2}})
| |
| − | &=\Pi_{\mathbf{R}}(S;\{1\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{1\}\{2\})
| |
| − | +\Pi_{\mathbf{R}}(S;\{12\}).
| |
| − | \end{align}
| |
| − | 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A），
| |
| − | 它展示了总信息如何分布到各种不同源组合上。
| |
| − | 与图~1 对比，可立即看出每个部分信息项的含义：
| |
| − | \begin{itemize}
| |
| − | \item 冗余信息：
| |
| − | 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 与 $R_{2}$ 的冗余。
| |
| − | \item 唯一信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$，
| |
| − | 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。
| |
| − | \item 协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后
| |
| − | 多出来的那部分信息，即\emph{协同}。
| |
| − | \end{itemize}
| |
| − |
| |
| − | 为了具体理解，考虑图~4A 的示例。
| |
| − | 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。
| |
| − | 确实可验证：
| |
| − | \[
| |
| − | I(S;R_{1})=I(S;R_{2})
| |
| − | =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
| |
| − | \]
| |
| − | 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。
| |
| − | 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生
| |
| − | （而 $R_{2}$ 不能），反之亦然。
| |
| − | 这一特征被部分信息捕获：
| |
| − | \[
| |
| − | \Pi_{\mathbf{R}}(S;\{1\})
| |
| − | =\Pi_{\mathbf{R}}(S;\{2\})
| |
| − | =\tfrac{1}{3},
| |
| − | \]
| |
| − | 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。
| |
| − | 冗余信息为
| |
| − | $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$，
| |
| − | 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。
| |
| − | 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息：
| |
| − | $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$，
| |
| − | 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。
| |
| − |
| |
| − | 值得注意的是，与互信息或交互信息不同，
| |
| − | 部分信息\emph{不是对称的}。
| |
| − | 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息
| |
| − | 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。
| |
| − | 图~4A 的示例也说明了这一点：
| |
| − | 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$），
| |
| − | 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息，
| |
| − | 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。
| |
| − | 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。
| |
| − | 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因，
| |
| − | 因为一般而言，分析结果会随所关注的变量不同而异。
| |
| − | 注意，总信息在这种意义下也是不对称的，
| |
| − | 即一般而言
| |
| − | $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$
| |
| − | （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。
| |
| − |
| |
| − | 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。
| |
| − | 首先，三变量时的所有可能性在四变量时依然存在：
| |
| − | 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$），
| |
| − | 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$），
| |
| − | 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。
| |
| − | 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$），
| |
| − | 或由它们的三阶协同提供（$\{123\}$）。
| |
| − | 更有趣的是新的\emph{冗余与协同组合}项：
| |
| − | 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示
| |
| − | “由一个变量单独或与另两个变量联合”冗余提供的信息；
| |
| − | 区域 $\{12\}\{13\}\{23\}$ 则表示
| |
| − | “三个两两协同之间”冗余提供的信息。
| |
| − | 一般地，一个 PI-原子对应于
| |
| − | \emph{集合中所有源之协同的冗余信息}，
| |
| − | 即对应于源集合贡献信息的又一种独特方式。
| |
| − |
| |
| − | 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子
| |
| − | （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。
| |
| − | 如前所述，每个 PI-原子代表一种独特的信息贡献方式，
| |
| − | 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。
| |
| − |
| |
| − | 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。
| |
| − | 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集，
| |
| − | 这与“冗余即重叠信息”的直觉一致。
| |
| − | 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域
| |
| − | $\bigcap_{i}I(S;\mathbf{A}_{i})$。
| |
| − | 由这一对应关系可建立以下联系：
| |
| − | 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$，
| |
| − | $\alpha$ 在冗余格中低于 $\beta$ 当且仅当
| |
| − | $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是
| |
| − | $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。
| |
| − | 因此，冗余格与 PI-图可视为同一结构的互补表示：
| |
| − | PI-图是冗余格按格序“折叠”后的版本，
| |
| − | 其中区域按格序嵌入。
| |
| − | %-----------------------------------------------------------------
| |
| | | | |
| | == 延伸与应用 == | | == 延伸与应用 == |