235
个编辑
更改
→定义
————————————————
————————————————
CI和SI 来自“2.1 Partial Infromarion Lattice”
CI和SI 来自“2.1 Partial Infromarion Lattice”
$$MI(S : X_1, X_2) = SI(S : X_1; X_2) + UI(S : X_1 \setminus X_2) + UI(S : X_2 \setminus X_1) + CI(S : X_1; X_2) \tag{3}$$
分解为四项，分别对应于冗余信息（或共享信息）$SI(S : X_1; X_2)$，$X_1$ 和 $X_2$ 各自的唯一信息（unique information）$UI(S : X_1 \setminus X_2)$ 和 $UI(S : X_2 \setminus X_1)$，以及协同信息（或互补信息）$CI(S : X_1; X_2)$。
然而，当 $n > 2$ 时，就不太清楚 $X_1, \ldots, X_n$ 可能以哪些不同的方式相互作用，结合冗余、唯一和协同效应。
作为解决方案，Williams 和 Beer 提出了部分信息框架（partial information framework）。我们在这里简要解释这个思想，并参考 [4] 了解更详细的解释。基本思想是构造这样一个分解：纯粹用一个测量共享信息的函数 $I_\cap(S : X_1; \ldots ; X_n)$ 来测量包含在 $X_1, \ldots, X_n$ 中关于 $S$ 的冗余信息。显然，这样的函数应该对 $X_1, \ldots, X_n$ 的排列是对称的。第二步，$I_\cap$ 也被用来测量包含在原始随机变量的组合 $A_1, \ldots, A_k$（即，$A_1, \ldots, A_k$ 是分量在 $\{X_1, \ldots, X_n\}$ 中的随机向量）中关于 $S$ 的冗余信息。此外，Williams 和 Beer 提出 $I_\cap$ 应该满足以下单调性性质：
$$I_\cap(S : A_1; \ldots ; A_k; A_{k+1}) \leq I_\cap(S : A_1; \ldots ; A_k) \text{，如果存在某个 } i \leq k \text{ 使得 } A_i \subseteq A_{k+1} \text{，则取等号}$$
（其中包含关系 $A_i \subseteq A_{k+1}$ 意味着 $A_i$ 的任何分量也是 $A_{k+1}$ 的分量。）
这个单调性性质表明，只需考虑 $A_1, \ldots, A_k$ 构成一个反链（antichain）的情况；即对所有 $i \neq j$，$A_i \not\subseteq A_j$。反链的集合按照以下关系被偏序：
$$(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k) \quad \Longleftrightarrow \quad \text{对于每个 } j = 1, \ldots, k \text{，存在 } i \leq l \text{ 使得 } B_i \subseteq A_j$$
并且，再次根据单调性性质，$I_\cap$ 是关于这个偏序的一个单调函数。这个偏序实际上使反链的集合成为一个格（lattice）。
如果 $(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k)$，那么差值 $I_\cap(S : A_1; \ldots ; A_k) - I_\cap(S : B_1; \ldots ; B_l)$ 量化了包含在某个 $A_i$ 中但不包含在任何 $B_l$ 中的信息。Williams 和 Beer 的思想可以总结为：所有信息都可以根据其包含在哪个反链内来进行分类。因此，第三步是将：
$$I_\cap(S : A_1; \ldots ; A_k) = \sum_{(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k)} I_\partial(S : B_1; \ldots ; B_l)$$
其中函数 $I_\partial$ 被唯一地定义为 $I_\cap$ 在反链格上的莫比乌斯变换（Möbius transform）。
例如，$n = 2$ 和 $n = 3$ 的部分信息格（PI lattices）如图 1 所示。对于 $n = 2$，很容易与公式 (3) 联系起来：部分测度是：
$$\begin{aligned}
I_\partial(S : (X_1, X_2)) &= CI(S : X_1; X_2) \\
I_\partial(S : X_1) &= UI(S : X_1 \setminus X_2) \\
I_\partial(S : X_2) &= UI(S : X_2 \setminus X_1) \\
I_\partial(S : X_1; X_2) &= SI(S : X_1; X_2)
\end{aligned}$$
并且冗余度量满足：
$$\begin{aligned}
I_\cap(S : (X_1, X_2)) = MI(S : X_1, X_2) &= CI(S : X_1; X_2) + UI(S : X_1 \setminus X_2) \\
&\quad + UI(S : X_2 \setminus X_1) + SI(S : X_1; X_2) \\
I_\cap(S : X_1) = MI(S : X_1) &= UI(S : X_1 \setminus X_2) + SI(S : X_1; X_2) \\
I_\cap(S : X_2) = MI(S : X_2) &= UI(S : X_2 \setminus X_1) + SI(S : X_1; X_2) \\
I_\cap(S : X_1; X_2) &= SI(S : X_1; X_2)
\end{aligned} \tag{4}$$
从 (4) 和互信息的链式法则：
$$MI(S : X_1, X_2) = MI(S : X_2) + MI(S : X_1|X_2)$$
立即得出：
$$MI(S : X_1|X_2) = UI(S : X_1 \setminus X_2) + CI(S : X_1; X_2) \tag{5}$$
即使 $I_\cap$ 是非负的（作为信息量应该如此），函数 $I_\partial$ 也是非负的可能并不明显。这个额外的要求在 [5] 中被称为局部正性（local positivity）。
=信息分解框架下的分析=
=信息分解框架下的分析=