5,443
个编辑
更改
跳到导航
跳到搜索
第88行：
第88行： − − − %-------------------------- Part IV -------------------------- − \section{部分信息分解} − \label{sec:pid} − − 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。 − 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。 − 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。 − $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。 − 这些部分信息将构成我们分解总信息的基本“原子”。 − − 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义： − \begin{equation} − I_{\min}(S;\alpha) − =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。 − 由该关系可递归计算 $\Pi_{\mathbf{R}}$： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中， − \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。 − 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{s}p(s) − \max_{\beta\in\alpha^{-}} − \min_{\mathbf{B}\in\beta} − I(S=s;\mathbf{B}), − \end{equation} − 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。 − 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D）， − 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。 − − 互信息分解为部分信息项之和的关系由下式给出： − \begin{equation} − I(S;\mathbf{A}) − =I_{\min}(S;\{\mathbf{A}\}) − =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出 − \begin{equation} − I(S;R_{1}) − =\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}) − \end{equation} − 和 − \begin{equation} − I(S;R_{1},R_{2}}) − =\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{2\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}) − +\Pi_{\mathbf{R}}(S;\{12\}). − \end{equation} − 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A）， − 它展示了总信息如何分布到各种不同源组合上。 − 与图~1 对比，可立即看出每个部分信息项的含义： − \begin{itemize} − \item 冗余信息： − 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 与 $R_{2}$ 的冗余。 − \item 唯一信息： − $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。 − \item 协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后 − 多出来的那部分信息，即\emph{协同}。 − \end{itemize} − − 为了具体理解，考虑图~4A 的示例。 − 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。 − 确实可验证： − \[ − I(S;R_{1})=I(S;R_{2}) − =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. − \] − 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。 − 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生 − （而 $R_{2}$ 不能），反之亦然。 − 这一特征被部分信息捕获： − \[ − \Pi_{\mathbf{R}}(S;\{1\}) − =\Pi_{\mathbf{R}}(S;\{2\}) − =\tfrac{1}{3}, − \] − 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。 − 冗余信息为 − $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$， − 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。 − 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$， − 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。 − − 值得注意的是，与互信息或交互信息不同， − 部分信息\emph{不是对称的}。 − 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息 − 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。 − 图~4A 的示例也说明了这一点： − 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$）， − 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息， − 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。 − 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。 − 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因， − 因为一般而言，分析结果会随所关注的变量不同而异。 − 注意，总信息在这种意义下也是不对称的， − 即一般而言 − $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$ − （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。 − − 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。 − 首先，三变量时的所有可能性在四变量时依然存在： − 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$）， − 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$）， − 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。 − 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$）， − 或由它们的三阶协同提供（$\{123\}$）。 − 更有趣的是新的\emph{冗余与协同组合}项： − 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示 − “由一个变量单独或与另两个变量联合”冗余提供的信息； − 区域 $\{12\}\{13\}\{23\}$ 则表示 − “三个两两协同之间”冗余提供的信息。 − 一般地，一个 PI-原子对应于 − \emph{集合中所有源之协同的冗余信息}， − 即对应于源集合贡献信息的又一种独特方式。 − − 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子 − （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。 − 如前所述，每个 PI-原子代表一种独特的信息贡献方式， − 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。 − − 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。 − 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集， − 这与“冗余即重叠信息”的直觉一致。 − 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域 − $\bigcap_{i}I(S;\mathbf{A}_{i})$。 − 由这一对应关系可建立以下联系： − 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$， − $\alpha$ 在冗余格中低于 $\beta$ 当且仅当 − $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是 − $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。 − 因此，冗余格与 PI-图可视为同一结构的互补表示： − PI-图是冗余格按格序“折叠”后的版本， − 其中区域按格序嵌入。 − %-----------------------------------------------------------------%-------------------------- Part IV -------------------------- − \section{部分信息分解} − \label{sec:pid} − − 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。 − 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。 − 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。 − $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。 − 这些部分信息将构成我们分解总信息的基本“原子”。 − − 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义： − \begin{equation} − I_{\min}(S;\alpha) − =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。 − 由该关系可递归计算 $\Pi_{\mathbf{R}}$： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中， − \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。 − 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{s}p(s) − \max_{\beta\in\alpha^{-}} − \min_{\mathbf{B}\in\beta} − I(S=s;\mathbf{B}), − \end{equation} − 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。 − 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D）， − 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。 − − 互信息分解为部分信息项之和的关系由下式给出： − \begin{equation} − I(S;\mathbf{A}) − =I_{\min}(S;\{\mathbf{A}\}) − =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出 − \begin{align} − I(S;R_{1}) − &=\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm] − I(S;R_{1},R_{2}}) − &=\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{2\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}) − +\Pi_{\mathbf{R}}(S;\{12\}). − \end{align} − 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A）， − 它展示了总信息如何分布到各种不同源组合上。 − 与图~1 对比，可立即看出每个部分信息项的含义： − \begin{itemize} − \item 冗余信息： − 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 与 $R_{2}$ 的冗余。 − \item 唯一信息： − $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。 − \item 协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后 − 多出来的那部分信息，即\emph{协同}。 − \end{itemize} − − 为了具体理解，考虑图~4A 的示例。 − 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。 − 确实可验证： − \[ − I(S;R_{1})=I(S;R_{2}) − =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. − \] − 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。 − 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生 − （而 $R_{2}$ 不能），反之亦然。 − 这一特征被部分信息捕获： − \[ − \Pi_{\mathbf{R}}(S;\{1\}) − =\Pi_{\mathbf{R}}(S;\{2\}) − =\tfrac{1}{3}, − \] − 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。 − 冗余信息为 − $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$， − 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。 − 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$， − 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。 − − 值得注意的是，与互信息或交互信息不同， − 部分信息\emph{不是对称的}。 − 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息 − 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。 − 图~4A 的示例也说明了这一点： − 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$）， − 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息， − 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。 − 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。 − 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因， − 因为一般而言，分析结果会随所关注的变量不同而异。 − 注意，总信息在这种意义下也是不对称的， − 即一般而言 − $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$ − （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。 − − 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。 − 首先，三变量时的所有可能性在四变量时依然存在： − 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$）， − 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$）， − 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。 − 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$）， − 或由它们的三阶协同提供（$\{123\}$）。 − 更有趣的是新的\emph{冗余与协同组合}项： − 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示 − “由一个变量单独或与另两个变量联合”冗余提供的信息； − 区域 $\{12\}\{13\}\{23\}$ 则表示 − “三个两两协同之间”冗余提供的信息。 − 一般地，一个 PI-原子对应于 − \emph{集合中所有源之协同的冗余信息}， − 即对应于源集合贡献信息的又一种独特方式。 − − 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子 − （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。 − 如前所述，每个 PI-原子代表一种独特的信息贡献方式， − 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。 − − 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。 − 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集， − 这与“冗余即重叠信息”的直觉一致。 − 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域 − $\bigcap_{i}I(S;\mathbf{A}_{i})$。 − 由这一对应关系可建立以下联系： − 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$， − $\alpha$ 在冗余格中低于 $\beta$ 当且仅当 − $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是 − $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。 − 因此，冗余格与 PI-图可视为同一结构的互补表示： − PI-图是冗余格按格序“折叠”后的版本， − 其中区域按格序嵌入。 − %----------------------------------------------------------------%-------------------------- Part IV -------------------------- − \section{部分信息分解} − \label{sec:pid} − − 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。 − 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。 − 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。 − $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。 − 这些部分信息将构成我们分解总信息的基本“原子”。 − − 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义： − \begin{equation} − I_{\min}(S;\alpha) − =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。 − 由该关系可递归计算 $\Pi_{\mathbf{R}}$： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中， − \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。 − 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{s}p(s) − \max_{\beta\in\alpha^{-}} − \min_{\mathbf{B}\in\beta} − I(S=s;\mathbf{B}), − \end{equation} − 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。 − 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D）， − 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。 − − 互信息分解为部分信息项之和的关系由下式给出： − \begin{equation} − I(S;\mathbf{A}) − =I_{\min}(S;\{\mathbf{A}\}) − =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出 − \begin{align} − I(S;R_{1}) − &=\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm] − I(S;R_{1},R_{2}}) − &=\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{2\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}) − +\Pi_{\mathbf{R}}(S;\{12\}). − \end{align} − 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A）， − 它展示了总信息如何分布到各种不同源组合上。 − 与图~1 对比，可立即看出每个部分信息项的含义： − \begin{itemize} − \item 冗余信息： − 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 与 $R_{2}$ 的冗余。 − \item 唯一信息： − $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。 − \item 协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后 − 多出来的那部分信息，即\emph{协同}。 − \end{itemize} − − 为了具体理解，考虑图~4A 的示例。 − 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。 − 确实可验证： − \[ − I(S;R_{1})=I(S;R_{2}) − =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. − \] − 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。 − 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生 − （而 $R_{2}$ 不能），反之亦然。 − 这一特征被部分信息捕获： − \[ − \Pi_{\mathbf{R}}(S;\{1\}) − =\Pi_{\mathbf{R}}(S;\{2\}) − =\tfrac{1}{3}, − \] − 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。 − 冗余信息为 − $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$， − 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。 − 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$， − 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。 − − 值得注意的是，与互信息或交互信息不同， − 部分信息\emph{不是对称的}。 − 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息 − 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。 − 图~4A 的示例也说明了这一点： − 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$）， − 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息， − 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。 − 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。 − 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因， − 因为一般而言，分析结果会随所关注的变量不同而异。 − 注意，总信息在这种意义下也是不对称的， − 即一般而言 − $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$ − （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。 − − 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。 − 首先，三变量时的所有可能性在四变量时依然存在： − 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$）， − 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$）， − 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。 − 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$）， − 或由它们的三阶协同提供（$\{123\}$）。 − 更有趣的是新的\emph{冗余与协同组合}项： − 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示 − “由一个变量单独或与另两个变量联合”冗余提供的信息； − 区域 $\{12\}\{13\}\{23\}$ 则表示 − “三个两两协同之间”冗余提供的信息。 − 一般地，一个 PI-原子对应于 − \emph{集合中所有源之协同的冗余信息}， − 即对应于源集合贡献信息的又一种独特方式。 − − 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子 − （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。 − 如前所述，每个 PI-原子代表一种独特的信息贡献方式， − 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。 − − 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。 − 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集， − 这与“冗余即重叠信息”的直觉一致。 − 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域 − $\bigcap_{i}I(S;\mathbf{A}_{i})$。 − 由这一对应关系可建立以下联系： − 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$， − $\alpha$ 在冗余格中低于 $\beta$ 当且仅当 − $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是 − $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。 − 因此，冗余格与 PI-图可视为同一结构的互补表示： − PI-图是冗余格按格序“折叠”后的版本， − 其中区域按格序嵌入。 − %----------------------------------------------------------------%-------------------------- Part IV -------------------------- − \section{部分信息分解} − \label{sec:pid} − − 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。 − 因此，沿着冗余格从下到上移动时，$I_{\min}$ 可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。 − 接下来，我们导出 $I_{\min}$ 的一个逆函数，称为\emph{部分信息函数}（PI-function）。 − $I_{\min}$ 量化累积信息，而 PI-function 则度量\emph{每个特定源集合所唯一贡献的部分信息}。 − 这些部分信息将构成我们分解总信息的基本“原子”。 − − 对于源集合 $\alpha\in\mathcal{A}(\mathbf{R})$，部分信息函数记为 $\Pi_{\mathbf{R}}$，并由下式隐式定义： − \begin{equation} − I_{\min}(S;\alpha) − =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 形式上，$\Pi_{\mathbf{R}}$ 对应于 $I_{\min}$ 的 M\"obius 逆（见 \cite{rota1964foundations,stanley1997enumerative}）。 − 由该关系可递归计算 $\Pi_{\mathbf{R}}$： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 换言之，$\Pi_{\mathbf{R}}(S;\alpha)$ 量化的是：$\alpha$ 中所有源共同提供的冗余信息中， − \emph{未被任何比 $\alpha$ 更低的源集合 $\beta$ 所提供} 的那部分信息。 − 附录~D 证明 $\Pi_{\mathbf{R}}$ 可写成闭式： − \begin{equation} − \Pi_{\mathbf{R}}(S;\alpha) − =I_{\min}(S;\alpha) − -\sum_{s}p(s) − \max_{\beta\in\alpha^{-}} − \min_{\mathbf{B}\in\beta} − I(S=s;\mathbf{B}), − \end{equation} − 其中 $\alpha^{-}$ 表示冗余格中紧接在 $\alpha$ 下方的所有节点。 − 由此式可直接证明 $\Pi_{\mathbf{R}}$ 是非负的（见附录~D）， − 因而可自然地被解释为一个与源集合 $\alpha$ 相关联的信息量。 − − 互信息分解为部分信息项之和的关系由下式给出： − \begin{equation} − I(S;\mathbf{A}) − =I_{\min}(S;\{\mathbf{A}\}) − =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). − \end{equation} − 对于三变量情形 $\mathbf{R}=\{R_{1},R_{2}\}$，式 (9) 给出 − \begin{align} − I(S;R_{1}) − &=\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm] − I(S;R_{1},R_{2}}) − &=\Pi_{\mathbf{R}}(S;\{1\}) − +\Pi_{\mathbf{R}}(S;\{2\}) − +\Pi_{\mathbf{R}}(S;\{1\}\{2\}) − +\Pi_{\mathbf{R}}(S;\{12\}). − \end{align} − 这些关系可用\emph{部分信息图}（PI-diagram）表示（图~3A）， − 它展示了总信息如何分布到各种不同源组合上。 − 与图~1 对比，可立即看出每个部分信息项的含义： − \begin{itemize} − \item 冗余信息： − 由式 (8) 得 $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 与 $R_{2}$ 的冗余。 − \item 唯一信息： − $\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})$， − 即 $R_{1}$ 的总信息减去冗余部分；对 $R_{2}$ 同理。 − \item 协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})$ 表示 $R_{1}$ 与 $R_{2}$ 联合后 − 多出来的那部分信息，即\emph{协同}。 − \end{itemize} − − 为了具体理解，考虑图~4A 的示例。 − 由分布的对称性可知，$R_{1}$ 与 $R_{2}$ 必须提供相同量的信息。 − 确实可验证： − \[ − I(S;R_{1})=I(S;R_{2}) − =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. − \] − 然而，$R_{1}$ 与 $R_{2}$ 分别关于 $S$ 的不同结果提供信息。 − 具体而言，已知 $R_{1}$ 时可完全确定 $S=2$ 是否发生 − （而 $R_{2}$ 不能），反之亦然。 − 这一特征被部分信息捕获： − \[ − \Pi_{\mathbf{R}}(S;\{1\}) − =\Pi_{\mathbf{R}}(S;\{2\}) − =\tfrac{1}{3}, − \] − 表明 $R_{1}$ 与 $R_{2}$ 各自提供 $\frac{1}{3}$ 比特的唯一信息。 − 冗余信息为 − $\Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2$， − 反映知道 $R_{1}$ 或 $R_{2}$ 中任一个，即可把 $S$ 的可能结果从三个减到两个。 − 最后，$R_{1}$ 与 $R_{2}$ 还提供 $\frac{1}{3}$ 比特的协同信息： − $\Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3}$， − 这反映两者联合可唯一确定 $S=0$ 是否发生，而单独任一个都无法做到。 − − 值得注意的是，与互信息或交互信息不同， − 部分信息\emph{不是对称的}。 − 例如，$R_{1}$ 与 $R_{2}$ 关于 $S$ 的协同信息 − 并不一定等于 $S$ 与 $R_{2}$ 关于 $R_{1}$ 的协同信息。 − 图~4A 的示例也说明了这一点： − 已知 $S$ 时可唯一确定 $R_{1}$（及 $R_{2}$）， − 因此 $S$ 与 $R_{2}$ 不可能再提供任何关于 $R_{1}$ 的协同信息， − 因为一旦知道 $S$，$R_{1}$ 已无任何不确定性。 − 相反，如前所述，$R_{1}$ 与 $R_{2}$ 却能提供 $\frac{1}{3}$ 比特关于 $S$ 的协同信息。 − 这种不对称性正是我们始终聚焦于\emph{关于特定变量 $S$ 的信息}的原因， − 因为一般而言，分析结果会随所关注的变量不同而异。 − 注意，总信息在这种意义下也是不对称的， − 即一般而言 − $I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2})$ − （尽管当然有 $I(S;R_{1},R_{2})=I(R_{1},R_{2};S)$）。 − − 当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。 − 首先，三变量时的所有可能性在四变量时依然存在： − 每个 $R_{i}$ 可提供唯一信息（区域 $\{1\},\{2\},\{3\}$）， − 可与另一个变量冗余提供（$\{1\}\{2\},\{1\}\{3\},\{2\}\{3\}$）， − 也可与另一个变量协同提供（$\{12\},\{13\},\{23\}$）。 − 此外，信息还可由所有三个变量冗余提供（$\{1\}\{2\}\{3\}$）， − 或由它们的三阶协同提供（$\{123\}$）。 − 更有趣的是新的\emph{冗余与协同组合}项： − 例如，区域 $\{1\}\{23\},\{2\}\{13\},\{3\}\{12\}$ 表示 − “由一个变量单独或与另两个变量联合”冗余提供的信息； − 区域 $\{12\}\{13\}\{23\}$ 则表示 − “三个两两协同之间”冗余提供的信息。 − 一般地，一个 PI-原子对应于 − \emph{集合中所有源之协同的冗余信息}， − 即对应于源集合贡献信息的又一种独特方式。 − − 四变量 PI-图共含 $(4-1)$ 阶 Dedekind 数 \cite{comtet1974advanced} 个原子 − （即 $\lvert\mathcal{A}(\mathbf{R})\rvert$，见附录~C）。 − 如前所述，每个 PI-原子代表一种独特的信息贡献方式， − 对应于 $\mathbf{R}$ 的分量关于 $S$ 的信息分布的又一种可能。 − − 最后，值得考虑冗余格与 $n$ 变量 PI-图之间的关系。 − 首先，我们注意到 $I_{\min}$ 类似于 PI-图中的集合交集， − 这与“冗余即重叠信息”的直觉一致。 − 具体而言，$I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\})$ 对应于区域 − $\bigcap_{i}I(S;\mathbf{A}_{i})$。 − 由这一对应关系可建立以下联系： − 对 $\alpha,\beta\in\mathcal{A}(\mathbf{R})$， − $\alpha$ 在冗余格中低于 $\beta$ 当且仅当 − $\bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A})$ 在 PI-图中是 − $\bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B})$ 的子集。 − 因此，冗余格与 PI-图可视为同一结构的互补表示： − PI-图是冗余格按格序“折叠”后的版本， − 其中区域按格序嵌入。 − %-----------------------------------------------------------------
→冗余信息计算方法
比如
比如
== 延伸与应用 ==
== 延伸与应用 ==