部分信息分解

历史

1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息贡献。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，这些原子（基本单元）能够将多变量系统中信息源对结果变量提供的信息完全分解。

部分信息分解框架

两源变量框架

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。

冗余晶格

在维恩图中，冗余度可以视为I（S；Ai）之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念举例而言，考虑两个源[math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]，且 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]。显然，[math]\displaystyle{ \mathbf{A} }[/math] 提供的任何信息也被[math]\displaystyle{ \mathbf{B} }[/math]提供，因此 [math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]之间的冗余退化为[math]\displaystyle{ \mathbf{A} }[/math]的自冗余： \begin{equation} I_{\min}(S;\{\mathbf{A},\mathbf{B}\}) =I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}). \end{equation} 进一步，对任意源[math]\displaystyle{ \mathbf{C} }[/math]，有[math]\displaystyle{ I_{\min}(S;\{\mathbf{A},\mathbf{B},\mathbf{C}\}) =I_{\min}(S;\{\mathbf{A},\mathbf{C}\}) }[/math]。推广之，对于任何源集合，若其中某些源是其他源的超集（即这个源包含其他源），则该集合的冗余等价于去掉所有超集后的冗余。因此，[math]\displaystyle{ I_{\min} }[/math]的定义域可简化为无源是其他源的超集的那些集合。即： \begin{equation} \mathcal{A}(\mathbf{R})= \bigl\{\alpha\in\mathcal{P}_{1}(\mathcal{P}_{1}(\mathbf{R})) \mid \forall\mathbf{A}_{i},\mathbf{A}_{j}\in\alpha,\; \mathbf{A}_{i}\not\subset\mathbf{A}_{j}\bigr\}, \end{equation} 其中 [math]\displaystyle{ \mathcal{P}_{1}(\mathbf{R})=\mathcal{P}(\mathbf{R})\setminus\{\emptyset\} }[/math]为[math]\displaystyle{ \mathbf{R} }[/math]的所有非空子集的集合。此后，我们将用带括号的索引简记[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，例如： [math]\displaystyle{ {R_{1},R_{2}} }[/math]to[math]\displaystyle{ {12} }[/math] 通过将上述思路进一步延伸，可在[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素上定义一个偏序[math]\displaystyle{ \preccurlyeq }[/math]。考虑两个源集合 [math]\displaystyle{ \alpha,\beta\in\mathcal{A}(\mathbf{R}) }[/math]，若对每个源 [math]\displaystyle{ \mathbf{B}\in\beta }[/math] 都存在源[math]\displaystyle{ \mathbf{A}\in\alpha }[/math]使得 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]，则意味着 [math]\displaystyle{ \beta }[/math]中所有源所共享的冗余信息至少包含[math]\displaystyle{ \alpha }[/math]中所有源所共享的冗余信息。于是，我们可定义偏序： \begin{equation} \forall\alpha,\beta\in\mathcal{A}(\mathbf{R}),\quad \alpha\preccurlyeq\beta \;\Longleftrightarrow\; \forall\mathbf{B}\in\beta,\; \exists\mathbf{A}\in\alpha,\; \mathbf{A}\subseteq\mathbf{B}. \end{equation} 将此偏序应用于[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，便得到冗余格（redundancy lattice），其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。在两源变量的维恩图里我们可以观察到：基于定义 1，一个系统的 PID 可表示为一组函数，用于为系统中源变量的每个子集在格的每个节点上赋值，具体如下。设 [math]\displaystyle{ S }[/math]为源的集合，[math]\displaystyle{ T }[/math]为目标。PI-原子集合定义为一族部分信息函数（PI-function） \[ \Pi_{\mathcal{A}}:\mathcal{A}(\mathcal{A})\to\mathbb{R},\quad\forall \mathcal{A}\subseteq S. \] 为简洁，在上下文明确时省略[math]\displaystyle{ \Pi }[/math]的下标。直观上，对每一个[math]\displaystyle{ \alpha\in\mathcal{A}(\mathcal{A}) }[/math]，原子[math]\displaystyle{ \Pi_{\mathcal{A}}(\alpha) }[/math]度量的是反链[math]\displaystyle{ \alpha }[/math]中每个集合向[math]\displaystyle{ T }[/math]提供、且不被任何 [math]\displaystyle{ \beta\preccurlyeq\alpha }[/math] 提供的的信息量。为简便记 [math]\displaystyle{ \Pi(\cdot) }[/math]代替 [math]\displaystyle{ \Pi_{S_{1},\dots,S_{n}}(\cdot) }[/math]，例如 \[ \Pi_{12}(\{[1]\})=\Pi_{\{S_{1},S_{2}\}}(\{\{S_{1}\}\}). \] 特别地，当 [math]\displaystyle{ S=\{S_{1},S_{2}\} }[/math] 时，定义 2 退化为 \begin{align*} \mathrm{Red}(S_{1},S_{2}\to T) &=\Pi_{12}([1][2]),\\[2mm] \mathrm{Un}(S_{1}\to T\mid S_{2})&=\Pi_{12}([1]),\\[2mm] \mathrm{Syn}(S_{1},S_{2}\to T)&=\Pi_{12}([12]),\\[2mm] \mathrm{Un}(S_{2}\to T\mid S_{1})&=\Pi_{12}([2]). \end{align*} \end{definition} 我们需要对函数进行约束。此时我们说一下自由度的问题（只多了一个自由度），所以只需要一个新定义，这篇文章选了最底下的格子——冗余信息。 \textbf{定义 1}（PID 冗余格）。对于源变量集合 \( S \)，其反链集合为： \[ \mathcal{A}(S) = \left\{ \alpha \in \mathcal{P}(\mathcal{P}(S)) \setminus \{\emptyset\} : \forall A_i, A_j \in \alpha, A_i \not\subseteq A_j \right\}, \] 其中 \( \mathcal{P}(S) \setminus \{\emptyset\} \) 表示 \( S \) 的所有非空子集构成的集合，且对于任意 \( \alpha, \beta \in \mathcal{A}(S) \)，我们说 \( \beta \preceq \alpha \)，如果对于每一个 \( A \in \alpha \)，存在一个 \( B \in \beta \) 使得 \( B \subseteq A \)。

为了便于阐述，我们使用仅包含对应源变量索引的括号表达式来表示 \( \mathcal{A}(S) \) 中的元素。例如，将 \( S_1, S_2 \) 写作 \([12]\)，将 \( [[S_1][S_2]] \) 写作 \([1][2]\)，将 \( S_1 \) 写作 \([1]\)。

基于定义 1，一个系统的部分信息分解（PID）可以被表示为一组函数，这些函数用于为系统中每一个源变量子集对应的格节点赋值，定义如下：

\textbf{定义 2}（部分信息分解框架）。设 \( S \) 为源变量的集合，\( T \) 为目标变量。PI-原子集合被定义为一族部分信息函数（PI-函数）\( \Pi_A : \mathcal{A}(A) \rightarrow \mathbb{R} \)，其中 \( A \subseteq S \)。为简洁起见，在上下文明确的地方我们省略 \( \Pi \) 的下标。

直观上，对于每一个 \( \alpha \in \mathcal{A}(A) \)，原子 \( \Pi_A(\alpha) \) 度量了由反链 \( \alpha \) 中每一个集合所提供、且不被任何 \( \beta \preceq \alpha \) 的子集所提供的信息量。为简洁起见，我们用 \( \Pi(\cdot) \) 表示 \( \Pi_{S_1, S_2}(\cdot) \)，例如： \[ \Pi_{12}(\{[1]\}) = \Pi_{(S_1, S_2)}(\{S_1\}). \]

注意，在 \( S = \{S_1, S_2\} \) 的情况下，定义 2 简化为： \[ \text{冗余}(S_1, S_2 \rightarrow T) = \Pi_{12}(\{[1][2]\}), \] \[ \text{独有}(S_1 \rightarrow T | S_2) = \Pi_{12}(\{[1]\}), \] \[ \text{协同}(S_1, S_2 \rightarrow T) = \Pi_{12}(\{[12]\}), \] \[ \text{独有}(S_2 \rightarrow T | S_1) = \Pi_{12}(\{[2]\}). \]

信息原子计算

冗余信息公理

单调性（非负性为引理）： [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]是非负的。证明： [math]\displaystyle{ I(S=s;\mathbf{A}) =D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) \ge 0, }[/math] 其中 [math]\displaystyle{ D }[/math]为 Kullback-Leibler 距离，最后一步由信息不等式得出。上界性：对所有 [math]\displaystyle{ \mathbf{A}_{i} }[/math]都有 [math]\displaystyle{ I_{\min}\le I(S;\mathbf{A}_{i}) }[/math]，且当且仅当对所有 [math]\displaystyle{ i,j }[/math]和所有 [math]\displaystyle{ s\in S }[/math]都有 [math]\displaystyle{ I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j}) }[/math]时等号成立。自冗余性: 根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 [math]\displaystyle{ \mathbf{A} }[/math]，与[math]\displaystyle{ \mathbf{A} }[/math]冗余的信息量最大为[math]\displaystyle{ I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}) }[/math]。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 [math]\displaystyle{ I(S;S)=H(S) }[/math] 最大化的性质。gu

其余信息原子计算

此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,[math]\displaystyle{ I_{\min} }[/math]可视为一种“累积信息函数”，它对越来越包容的源集合所提供的信息进行累积。接下来，我们导出[math]\displaystyle{ I_{\min} }[/math]的一个逆函数，称为部分信息函数（PI-function）。[math]\displaystyle{ I_{\min} }[/math]量化累积信息，而 PI-function 则度量每个特定源集合所唯一贡献的部分信息。这些部分信息将构成我们分解总信息的基本“原子”。对于源集合[math]\displaystyle{ \alpha\in\mathcal{A}(\mathbf{R}) }[/math]，部分信息函数记为[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]，并由下式隐式定义： \begin{equation} I_{\min}(S;\alpha) =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 形式上，[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math] 对应于[math]\displaystyle{ I_{\min} }[/math]的莫比乌斯反演。由该关系可递归计算[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]： \begin{equation} \Pi_{\mathbf{R}}(S;\alpha) =I_{\min}(S;\alpha) -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 换言之，[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\alpha) }[/math]量化的是：[math]\displaystyle{ \alpha }[/math]中所有源共同提供的冗余信息中，未被任何比 [math]\displaystyle{ \alpha }[/math]更低的源集合 [math]\displaystyle{ \beta }[/math]所提供的那部分信息。附录~D 证明 [math]\displaystyle{ \Pi_{\mathbf{R}} }[/math] 可写成闭式： \begin{equation} \Pi_{\mathbf{R}}(S;\alpha) =I_{\min}(S;\alpha) -\sum_{s}p(s) \max_{\beta\in\alpha^{-}} \min_{\mathbf{B}\in\beta} I(S=s;\mathbf{B}), \end{equation} 其中 [math]\displaystyle{ \alpha^{-} }[/math]表示冗余格中紧接在 [math]\displaystyle{ \alpha }[/math]下方的所有节点。由此式可直接证明 [math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]是非负的（见附录~D），因而可自然地被解释为一个与源集合 [math]\displaystyle{ \alpha }[/math]相关联的信息量。互信息分解为部分信息项之和的关系由下式给出： \begin{equation} I(S;\mathbf{A}) =I_{\min}(S;\{\mathbf{A}\}) =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 对于三变量情形[math]\displaystyle{ \mathbf{R}=\{R_{1},R_{2}\} }[/math]，式 (9) 给出 \begin{align} I(S;R_{1}) &=\Pi_{\mathbf{R}}(S;\{1\}) +\Pi_{\mathbf{R}}(S;\{1\}\{2\}),\\[2mm] I(S;R_{1},R_{2}}) &=\Pi_{\mathbf{R}}(S;\{1\}) +\Pi_{\mathbf{R}}(S;\{2\}) +\Pi_{\mathbf{R}}(S;\{1\}\{2\}) +\Pi_{\mathbf{R}}(S;\{12\}). \end{align} 这些关系可用部分信息图（PI-diagram）表示（图~3A），它展示了总信息如何分布到各种不同源组合上。与图~1 对比，可立即看出每个部分信息项的含义： \begin{itemize} \item 冗余信息：由式 (8) 得 [math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]的冗余。\item 唯一信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]的总信息减去冗余部分；对 [math]\displaystyle{ R_{2} }[/math]同理。\item 协同信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{12\}) }[/math] 表示 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]联合后多出来的那部分信息，即协同。\end{itemize}为了具体理解，考虑图~4A 的示例。由分布的对称性可知，[math]\displaystyle{ R_{1} }[/math] 与 [math]\displaystyle{ R_{2} }[/math] 必须提供相同量的信息。确实可验证： \[ I(S;R_{1})=I(S;R_{2}) =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. \] 然而，[math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math] 分别关于 [math]\displaystyle{ S }[/math] 的不同结果提供信息。具体而言，已知 [math]\displaystyle{ R_{1} }[/math] 时可完全确定 [math]\displaystyle{ S=2 }[/math]是否发生（而 [math]\displaystyle{ R_{2} }[/math] 不能），反之亦然。这一特征被部分信息捕获： \[ \Pi_{\mathbf{R}}(S;\{1\}) =\Pi_{\mathbf{R}}(S;\{2\}) =\tfrac{1}{3}, \] 表明 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]各自提供 [math]\displaystyle{ \frac{1}{3} }[/math]比特的唯一信息。冗余信息为[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}\{2\})=\log 3-\log 2 }[/math]，反映知道 [math]\displaystyle{ R_{1} }[/math]或 [math]\displaystyle{ R_{2} }[/math] 中任一个，即可把 [math]\displaystyle{ S }[/math]的可能结果从三个减到两个。最后，[math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math] 还提供 [math]\displaystyle{ \frac{1}{3} }[/math]比特的协同信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{12\})=\frac{1}{3} }[/math]，这反映两者联合可唯一确定 [math]\displaystyle{ S=0 }[/math] 是否发生，而单独任一个都无法做到。值得注意的是，与互信息或交互信息不同，部分信息不是对称的。例如，[math]\displaystyle{ R_{1} }[/math] 与 [math]\displaystyle{ R_{2} }[/math]关于 [math]\displaystyle{ S }[/math] 的协同信息并不一定等于 [math]\displaystyle{ S }[/math]与 [math]\displaystyle{ R_{2} }[/math] 关于 [math]\displaystyle{ R_{1} }[/math]的协同信息。图~4A 的示例也说明了这一点：已知 [math]\displaystyle{ S }[/math]时可唯一确定 [math]\displaystyle{ R_{1} }[/math]（及 [math]\displaystyle{ R_{2} }[/math]），因此 [math]\displaystyle{ S }[/math] 与 [math]\displaystyle{ R_{2} }[/math] 不可能再提供任何关于 [math]\displaystyle{ R_{1} }[/math]的协同信息，因为一旦知道 [math]\displaystyle{ S }[/math]，[math]\displaystyle{ R_{1} }[/math]已无任何不确定性。相反，如前所述，[math]\displaystyle{ R_{1} }[/math] 与 [math]\displaystyle{ R_{2} }[/math] 却能提供 [math]\displaystyle{ \frac{1}{3} }[/math] 比特关于 [math]\displaystyle{ S }[/math] 的协同信息。这种不对称性正是我们始终聚焦于关于特定变量 [math]\displaystyle{ S }[/math]的信息的原因，因为一般而言，分析结果会随所关注的变量不同而异。注意，总信息在这种意义下也是不对称的，即一般而言[math]\displaystyle{ I(S;R_{1},R_{2})\neq I(R_{1};S,R_{2}) }[/math] （尽管当然有 [math]\displaystyle{ I(S;R_{1},R_{2})=I(R_{1},R_{2};S) }[/math]）。当考虑四变量时，PI-图的一般结构变得清晰（图~3B）。首先，三变量时的所有可能性在四变量时依然存在：每个 [math]\displaystyle{ R_{i} }[/math] 可提供唯一信息（区域 [math]\displaystyle{ \{1\},\{2\},\{3\} }[/math]），可与另一个变量冗余提供（[math]\displaystyle{ \{1\}\{2\},\{1\}\{3\},\{2\}\{3\} }[/math]），也可与另一个变量协同提供（[math]\displaystyle{ \{12\},\{13\},\{23\} }[/math]）。此外，信息还可由所有三个变量冗余提供（[math]\displaystyle{ \{1\}\{2\}\{3\} }[/math]），或由它们的三阶协同提供（[math]\displaystyle{ \{123\} }[/math]）。更有趣的是新的冗余与协同组合项：例如，区域 [math]\displaystyle{ \{1\}\{23\},\{2\}\{13\},\{3\}\{12\} }[/math] 表示 “由一个变量单独或与另两个变量联合”冗余提供的信息；区域 [math]\displaystyle{ \{12\}\{13\}\{23\} }[/math] 则表示 “三个两两协同之间”冗余提供的信息。一般地，一个 PI-原子对应于集合中所有源之协同的冗余信息，即对应于源集合贡献信息的又一种独特方式。四变量 PI-图共含 [math]\displaystyle{ (4-1) }[/math]阶 Dedekind 数 \cite{comtet1974advanced} 个原子（即 [math]\displaystyle{ \lvert\mathcal{A}(\mathbf{R})\rvert }[/math]，见附录~C）。如前所述，每个 PI-原子代表一种独特的信息贡献方式，对应于 [math]\displaystyle{ \mathbf{R} }[/math] 的分量关于 [math]\displaystyle{ S }[/math]的信息分布的又一种可能。最后，值得考虑冗余格与 [math]\displaystyle{ n }[/math]变量 PI-图之间的关系。首先，我们注意到 [math]\displaystyle{ I_{\min} }[/math] 类似于 PI-图中的集合交集，这与“冗余即重叠信息”的直觉一致。具体而言，[math]\displaystyle{ I_{\min}(S;\{\mathbf{A}_{1},\dots,\mathbf{A}_{k}\}) }[/math] 对应于区域 [math]\displaystyle{ \bigcap_{i}I(S;\mathbf{A}_{i}) }[/math]。由这一对应关系可建立以下联系：对 [math]\displaystyle{ \alpha,\beta\in\mathcal{A}(\mathbf{R}) }[/math]， [math]\displaystyle{ \alpha }[/math]在冗余格中低于 [math]\displaystyle{ \beta }[/math] 当且仅当 [math]\displaystyle{ \bigcap_{\mathbf{A}\in\alpha}I(S;\mathbf{A}) 在 }[/math] PI-图中是[math]\displaystyle{ \bigcap_{\mathbf{B}\in\beta}I(S;\mathbf{B}) }[/math]的子集。因此，冗余格与 PI-图可视为同一结构的互补表示：PI-图是冗余格按格序“折叠”后的版本，其中区域按格序嵌入。

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义：令 [math]\displaystyle{ \mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k} }[/math]为 [math]\displaystyle{ \mathbf{R} }[/math]的非空且允许重叠的子集，我们称之为源。每个[math]\displaystyle{ \mathbf{A}_{i} }[/math]所提供的信息由互信息[math]\displaystyle{ I(S;\mathbf{A}_{i}) }[/math]给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于[math]\displaystyle{ S }[/math]的不同结果提供信息。源[math]\displaystyle{ \mathbf{A} }[/math]所提供的信息可写为 \begin{equation} I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}), \end{equation} 其中特定信息[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]量化了与[math]\displaystyle{ S }[/math]的某一特定结果 [math]\displaystyle{ s }[/math]相关联的信息。下面需要给出其定义： \begin{equation} I(S=s;\mathbf{A})= \sum_{\mathbf{a}}p(\mathbf{a}|s) \left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right]. \end{equation} 项[math]\displaystyle{ 1/p(s) }[/math]称为[math]\displaystyle{ s }[/math]的不确定度（surprise），项[math]\displaystyle{ log1/p(s) }[/math]即[math]\displaystyle{ s }[/math]的香农熵。因此 [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]表示已知[math]\displaystyle{ \mathbf{A} }[/math]中的每个[math]\displaystyle{ \mathbf{a} }[/math]后以s为条件下a发生的概率为权重的[math]\displaystyle{ s }[/math]加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果[math]\displaystyle{ s }[/math]发生的条件下[math]\displaystyle{ \mathbf{A} }[/math]以百分之五十概率取[math]\displaystyle{ \mathbf{a}_{1} }[/math]，以百分之五十的概率取[math]\displaystyle{ \mathbf{a}_{2} }[/math]，那显然可以用这两个取值对[math]\displaystyle{ s }[/math]的不确定度减少量加权平均来定义平均不确定度减少量（即[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]）。总之，[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math] 量化 [math]\displaystyle{ \mathbf{A} }[/math]关于每个特定结果 [math]\displaystyle{ s\in S }[/math]所提供的信息，而[math]\displaystyle{ I(S;\mathbf{A}) }[/math]则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即 \begin{equation} I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\}) =\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}). \end{equation} [math]\displaystyle{ I_{\min} }[/math]满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对[math]\displaystyle{ S }[/math]的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于[math]\displaystyle{ S }[/math]的不同结果提供信息。以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.

最后一小节可以放一个对照表

比如

延伸与应用

应用

协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现

部分信息分解

目录

历史

相关概念

信息熵

互信息