WholeMinusSum

历史溯源

WMS（WholeMinusSum）协同度

一、最早理论源头：三篇奠基文献 [18–20]

1. 最先提出多变量联合互信息减去单变量互信息和的数学结构，用来刻画**多个变量组合后新增的高阶交互信息量**，最初命名为**三阶交互信息（3-way interaction information）**； 2. 当时研究初衷：打破二元互信息局限，量化**两个变量共同作用**和**各自独立作用**的信息差值，用来判断变量间是协同增益还是冗余重叠； 3. 该阶段仅停留在纯信息论数学推导，没有命名为WholeMinusSum，只是一个基础数学表达式。 ##

二、正式定名与规范梳理：Griffith & Koch 文献 ### 关键节点：

Griffith 和 Koch 在论文[6]中完成溯源与标准化定义 1. **命名确立**：正式将 $S_{WMS}=MI(S;X,Y)-MI(S;X)-MI(S;Y)$ 这个指标命名为 **WholeMinusSum（整体减总和）协同度**，字面含义：整体联合信息 减去 各部分单独信息之和； 2. **溯源归档**：明确标注该公式的原始数学构思来自早期三篇文献[18–20]，把零散的高阶交互公式整合为统一的协同度量指标； 3. **等价关系绑定**：严格证明 WMS 协同度与**共信息 CoI（Co-information，参考文献21）、交互信息Interaction Information（参考文献22）**互为相反数： $$S_{WMS} = -CoI(S,X,Y)$$ 把WMS归入高阶多元信息交互理论体系，打通了协同度、共信息、条件互信息三者等价转换（文中 $MI(S:Y|X)-MI(S:Y)$ 等价变形）。

三、落地应用拓展：文献[1] 神经编码领域落地 1. 理论成熟后，该指标首次在**神经群体编码**场景实用化（参考文献[1]）； 2. 应用场景：衡量多个神经元组合起来编码外界信号时的协同作用——判断一群神经元共同放电携带的信息量，是否大于单个神经元携带信息量之和，量化神经集群的协同编码增益； 3. 从此WMS从纯数学信息论指标，变为**神经科学、机器学习、特征筛选**通用的协同冗余判断工具。

四、后续框架延伸：互补信息/共享信息分解（式8） 后续信息分解理论完善后，进一步推导出第二层释义： $$S_{WMS}=CI(\text{互补信息})-SI(\text{共享信息})$$ 将WMS从高阶交互信息，拓展到**信息分解范式**：用来区分变量间是互补增效（协同）、还是重复冗余，成为现代信息论特征选择、多源数据融合的经典基准指标。 ### 极简时间线总结 1. 初代雏形：[18–20] → 提出三阶交互信息数学结构（未命名） 2. 标准化定名：Griffith & Koch[6] → 定名WholeMinusSum，绑定共信息CoI，完善数学等价式 3. 工程落地：文献[1] → 神经种群编码实证应用 4. 理论扩容：信息分解体系 → 拆解为互补信息−共享信息，适用更广场景

定义

WholeMinusSum（WMS协同度）两种通俗定义：

定义1：(互信息差值定义）来自【6】2014year，page7-8

[math]\displaystyle{ S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y) }[/math]

[math]\displaystyle{ = MI(S: Y|X) - MI(S:Y) = -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y) = -CoI(S,X,Y) 来自【21】2003year，【22】1954year }[/math]

MI(S:X,Y)：两个变量X、Y合在一起对目标S的联合互信息

MI(S:X)：X单独对S的互信息

MI(S:Y)：Y单独对S的互信息

离散随机变量的互信息 定义为： [math]\displaystyle{ MI(X:Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} }[/math]

离散随机变量的条件互信息 定义为： [math]\displaystyle{ MI(X:Y|Z) = \sum_{x,y,z} p(x,y|z)p(z) \log \frac{p(x,y|z)}{p(x|z)p(y|z)} }[/math]

离散随机变量的熵 定义为： [math]\displaystyle{ H(X) = -\sum_x p(x) \log p(x) }[/math]

连续随机变量的微分熵 定义为： [math]\displaystyle{ H(X) = -\int_x p(x) \log p(x) \mathrm{d}x }[/math]

其中 p 现在表示 X 相对于 [math]\displaystyle{ \mathrm{d}x }[/math]的概率密度。

取勒贝格测度，具有协方差矩阵 [math]\displaystyle{ \Sigma_X }[/math] 的 m 维高斯随机向量的熵 定义为：

[math]\displaystyle{ H(X) = \frac{1}{2} \log |\Sigma_X| + \frac{1}{2} m \log(2\pi e) }[/math]

其中 [math]\displaystyle{ |\Sigma_X| }[/math]表示 [math]\displaystyle{ \Sigma_X }[/math] 的行列式。

这种熵在坐标变换下不是不变的。

事实上，如果 [math]\displaystyle{ A \in \mathbb{R}^{m \times m} }[/math]，那么 AX 的协方差矩阵由 [math]\displaystyle{ A\Sigma_X A^t }[/math]给出，因此 AX 的熵为： [math]\displaystyle{ H(AX)= H(X) + \log|A| }[/math]

相比之下，连续随机变量的互信息不依赖于参考测度的选择。

关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 [math]\displaystyle{ \Sigma_X、\Sigma_Y }[/math] 且联合多元高斯分布的联合协方差矩阵为 [math]\displaystyle{ \Sigma_{X,Y} }[/math] 的高斯随机向量， [math]\displaystyle{ MI(X:Y) = \frac{1}{2} \log \frac{|\Sigma_X|\cdot |\Sigma_Y| }{ |\Sigma_{X,Y}| } }[/math]

并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。

定义2：信息分解定义（互补信息−共享信息，公式8）

从信息分解框架来看，WMS协同度 = 互补信息CI − 共享信息SI。

- 共享信息SI：X、Y不用配合，各自都单独拥有、重复能解释S的重叠信息；

- 互补信息CI：必须X、Y搭配在一起，组合起来才能挖掘出、单独一方没有的新增信息；

二者相减，就是WMS协同指标。

对应公式 [math]\displaystyle{ S_{WMS}(S:X;Y) = CI(S:X;Y) - SI(S:X;Y) }[/math] 补充：

1. 若 S_{WMS}>0：互补信息 > 共享信息，X和Y存在协同效应，两者搭配能产生单独没有的新信息；

2. 若 S_{WMS}<0：共享信息 > 互补信息，X和Y高度冗余，大部分信息重复，几乎无协同； 3. 若 S_{WMS}=0：互补信息和重叠共享信息持平。

———————————————— CI和SI 来自“2.1 Partial Infromarion Lattice”

[math]\displaystyle{ $$MI(S : X_1, X_2) = SI(S : X_1; X_2) + UI(S : X_1 \setminus X_2) + UI(S : X_2 \setminus X_1) + CI(S : X_1; X_2) \tag{3}$$ }[/math] 分解为四项，分别对应于冗余信息（或共享信息）$SI(S : X_1; X_2)$，$X_1$ 和 $X_2$ 各自的唯一信息（unique information）$UI(S : X_1 \setminus X_2)$ 和 $UI(S : X_2 \setminus X_1)$，以及协同信息（或互补信息）$CI(S : X_1; X_2)$。

Williams 和 Beer 提出了部分信息框架（partial information framework）。 基本思想是构造这样一个分解： 第一步：纯粹用一个测量共享信息的函数 [math]\displaystyle{ $I_\cap(S : X_1; \ldots ; X_n)$ }[/math] 来测量包含在[math]\displaystyle{ $X_1, \ldots, X_n$ 中关于 $S$ }[/math]的冗余信息。显然，这样的函数应该对 $X_1, \ldots, X_n$ 的排列是对称的。

第二步：[math]\displaystyle{ $I_\cap$ }[/math] 也被用来测量包含在原始随机变量的组合 [math]\displaystyle{ $A_1, \ldots, A_k$（即，$A_1, \ldots, A_k$ 是分量在 $\{X_1, \ldots, X_n\}$ 中的随机向量）中关于 $S$ 的冗余信息。 }[/math] 此外，Williams 和 Beer 提出 $I_\cap$ 应该满足以下单调性性质： $$I_\cap(S : A_1; \ldots ; A_k; A_{k+1}) \leq I_\cap(S : A_1; \ldots ; A_k) \text{，如果存在某个 } i \leq k \text{ 使得 } A_i \subseteq A_{k+1} \text{，则取等号}$$ （其中包含关系 $A_i \subseteq A_{k+1}$ 意味着 $A_i$ 的任何分量也是 $A_{k+1}$ 的分量。） 这个单调性性质表明，只需考虑 $A_1, \ldots, A_k$ 构成一个反链（antichain）的情况；即对所有 $i \neq j$，$A_i \not\subseteq A_j$。反链的集合按照以下关系被偏序： $$(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k) \quad \Longleftrightarrow \quad \text{对于每个 } j = 1, \ldots, k \text{，存在 } i \leq l \text{ 使得 } B_i \subseteq A_j$$ 并且，再次根据单调性性质，$I_\cap$ 是关于这个偏序的一个单调函数。这个偏序实际上使反链的集合成为一个格（lattice）。 如果 $(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k)$，那么差值 $I_\cap(S : A_1; \ldots ; A_k) - I_\cap(S : B_1; \ldots ; B_l)$ 量化了包含在某个 $A_i$ 中但不包含在任何 $B_l$ 中的信息。

Williams 和 Beer 的思想可以总结为：所有信息都可以根据其包含在哪个反链内来进行分类。

因此，第三步是将： [math]\displaystyle{ $$I_\cap(S : A_1; \ldots ; A_k) = \sum_{(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k)} I_\partial(S : B_1; \ldots ; B_l)$$ }[/math] 其中函数 [math]\displaystyle{ $I_\partial$ }[/math] 被唯一地定义为 $I_\cap$ 在反链格上的莫比乌斯变换（Möbius transform）。 例如，$n = 2$ 和 $n = 3$ 的部分信息格（PI lattices）如图 1 所示。对于 $n = 2$，很容易与公式 (3) 联系起来：部分测度是： [math]\displaystyle{ $$\begin{aligned} I_\partial(S : (X_1, X_2)) &= CI(S : X_1; X_2) \\ I_\partial(S : X_1) &= UI(S : X_1 \setminus X_2) \\ I_\partial(S : X_2) &= UI(S : X_2 \setminus X_1) \\ I_\partial(S : X_1; X_2) &= SI(S : X_1; X_2) \end{aligned}$$ }[/math] 并且冗余度量满足： [math]\displaystyle{ $$\begin{aligned} I_\cap(S : (X_1, X_2)) = MI(S : X_1, X_2) &= CI(S : X_1; X_2) + UI(S : X_1 \setminus X_2) \\ &\quad + UI(S : X_2 \setminus X_1) + SI(S : X_1; X_2) \\ I_\cap(S : X_1) = MI(S : X_1) &= UI(S : X_1 \setminus X_2) + SI(S : X_1; X_2) \\ I_\cap(S : X_2) = MI(S : X_2) &= UI(S : X_2 \setminus X_1) + SI(S : X_1; X_2) \\ I_\cap(S : X_1; X_2) &= SI(S : X_1; X_2) \end{aligned} }[/math] [math]\displaystyle{ \tag{4}$$ }[/math]

从 (4) 和互信息的链式法则： [math]\displaystyle{ $$MI(S : X_1, X_2) = MI(S : X_2) + MI(S : X_1|X_2)$$ }[/math] 立即得出： [math]\displaystyle{ $$MI(S : X_1|X_2) = UI(S : X_1 \setminus X_2) + CI(S : X_1; X_2) \tag{5}$$ }[/math] 即使 $I_\cap$ 是非负的（作为信息量应该如此），函数 $I_\partial$ 也是非负的可能并不明显。这个额外的要求在 [5] 中被称为局部正性（local positivity）。

！！！！！！I∩ 是“总共多少”，I∂ 是“独有多少”。$I_\partial$ 由 $I_\cap$ 通过莫比乌斯变换反推得到，就像从累计里程算出每天跑量。

节点 4：{X₁; X₂}（两个单独变量）

这个节点表示“X₁ 和 X₂ 各自单独提供的信息中，重复的那部分”，也就是冗余信息： $$I_\cap(S : X_1; X_2) = SI(S : X_1; X_2)$$

最底层：{X₁; X₂}

这个节点下面没有别的节点了，所以： $$I_\partial(S : X_1; X_2) = I_\cap(S : X_1; X_2) = SI(S : X_1; X_2)$$ ——————————————

2.1
In Shannon’s theory of information, the total amount of information about S

contained in X1,...,Xn is quantified by the mutual information: MI(S : X1,...,Xn)

the total synergy of X1,...,Xn in terms of a function Synergy(S : X1;...; Xn).

The basic idea is to construct such a decomposition purely in terms of a function for shared information I∩(S : X1;...; Xn) that measures the redundant information about S contained in X1,...,Xn.

I∩(S : (X1,X2)) = MI(S : X1,X2)

信息分解框架下的分析

Williams 和 Beer 提出了部分信息框架（partial information framework）。 基本思想是构造这样一个分解： 第一步：纯粹用一个测量共享信息的函数 [math]\displaystyle{ $I_\cap(S : X_1; \ldots ; X_n)$ }[/math] 来测量包含在[math]\displaystyle{ $X_1, \ldots, X_n$ 中关于 $S$ }[/math]的冗余信息。显然，这样的函数应该对 $X_1, \ldots, X_n$ 的排列是对称的。

第二步：[math]\displaystyle{ $I_\cap$ }[/math] 也被用来测量包含在原始随机变量的组合 [math]\displaystyle{ $A_1, \ldots, A_k$（即，$A_1, \ldots, A_k$ 是分量在 $\{X_1, \ldots, X_n\}$ 中的随机向量）中关于 $S$ 的冗余信息。 }[/math] 此外，Williams 和 Beer 提出 $I_\cap$ 应该满足以下单调性性质： $$I_\cap(S : A_1; \ldots ; A_k; A_{k+1}) \leq I_\cap(S : A_1; \ldots ; A_k) \text{，如果存在某个 } i \leq k \text{ 使得 } A_i \subseteq A_{k+1} \text{，则取等号}$$ （其中包含关系 $A_i \subseteq A_{k+1}$ 意味着 $A_i$ 的任何分量也是 $A_{k+1}$ 的分量。） 这个单调性性质表明，只需考虑 $A_1, \ldots, A_k$ 构成一个反链（antichain）的情况；即对所有 $i \neq j$，$A_i \not\subseteq A_j$。反链的集合按照以下关系被偏序： $$(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k) \quad \Longleftrightarrow \quad \text{对于每个 } j = 1, \ldots, k \text{，存在 } i \leq l \text{ 使得 } B_i \subseteq A_j$$ 并且，再次根据单调性性质，$I_\cap$ 是关于这个偏序的一个单调函数。这个偏序实际上使反链的集合成为一个格（lattice）。 如果 $(B_1, \ldots, B_l) \preceq (A_1, \ldots, A_k)$，那么差值 $I_\cap(S : A_1; \ldots ; A_k) - I_\cap(S : B_1; \ldots ; B_l)$ 量化了包含在某个 $A_i$ 中但不包含在任何 $B_l$ 中的信息。

Williams 和 Beer 的思想可以总结为：所有信息都可以根据其包含在哪个反链内来进行分类。

应用案例

AND

CI(S : X; Y)

[math]\displaystyle{ \widetilde{CI}(S : X; Y) = MI(S : X | Y) = \frac{1}{2} \log 2 = 0.5 \text{ bit} }[/math]

其中[math]\displaystyle{ \widetilde{CI} }[/math] 出现在 （“3.2 Synergy from unique information“，来自【8】如下），再加上"2.1等式（5）"

在文献[8]中，有人提出使用如下函数作为协同作用的度量： [math]\displaystyle{ \widetilde{CI}(S : X; Y) = MI(S : X; Y) - \min_{q \in \Delta_p} MI_q(S : X; Y) }[/math] [math]\displaystyle{ \tag{9} }[/math] 其中： [math]\displaystyle{ \Delta_p = \left\{ q(s,x,y) \mid q(s,x) = p(s,x) \land q(s,y) = p(s,y) \right\} }[/math] 表示所有满足“对$(S,X)$和$(S,Y)$的边缘分布与$p$相同”的$S,X,Y$的联合分布构成的集合。

"2.1等式（5）"如下 [math]\displaystyle{ MI(S : X_1|X_2) = UI(S : X_1 \setminus X_2) + CI(S : X_1; X_2) }[/math] [math]\displaystyle{ \tag{5} }[/math]

__________________

共享信息（shared information）为 [math]\displaystyle{ \widetilde{SI}(S : X; Y) = \frac{3}{2} \log 2 - \frac{3}{4} \log 3 \approx 0.3113 \text{ bit} }[/math]，WMS 协同作用（synergy）为 [math]\displaystyle{ S_{WMS}(S : X; Y) \approx 0.1887 \text{ bit} }[/math]。

____________

另一方面，在 AND 情况下，联合概率分布 $p(s, x, y)$ 已经完全由边缘分布 $p(x, y)$, $p(s, y)$ 和 $p(s, x)$ 确定；也就是说，$\Delta_p^{(2)} = \{p\}$（参见例如 [10]）。因此， [math]\displaystyle{ S^{(2)}(S : X; Y) = 0 }[/math]

这里[math]\displaystyle{ S^{(2)} }[/math]出现在"2.2 Interaction Space" (基于“协同作用应该包含所有超越两两交互的信息”这一想法，我们定义： [math]\displaystyle{ S^{(2)}(X_0; ...; X_n) := D(p \| q^{(2)}) = D(p \| q^{(n)}) + D(q^{(n)} \| q^{(n-1)}) + ... + D(q^{(3)} \| q^{(2)}) }[/math] 作为协同作用的度量。

+“3.3 Synergy from Maxisum Entropy Arguments"