WholeMinusSum

历史溯源

WMS（WholeMinusSum）协同度

一、最早理论源头：三篇奠基文献 [18–20]

1. 最先提出多变量联合互信息减去单变量互信息和的数学结构，用来刻画**多个变量组合后新增的高阶交互信息量**，最初命名为**三阶交互信息（3-way interaction information）**； 2. 当时研究初衷：打破二元互信息局限，量化**两个变量共同作用**和**各自独立作用**的信息差值，用来判断变量间是协同增益还是冗余重叠； 3. 该阶段仅停留在纯信息论数学推导，没有命名为WholeMinusSum，只是一个基础数学表达式。 ##

二、正式定名与规范梳理：Griffith & Koch 文献 ### 关键节点：

Griffith 和 Koch 在论文[6]中完成溯源与标准化定义 1. **命名确立**：正式将 $S_{WMS}=MI(S;X,Y)-MI(S;X)-MI(S;Y)$ 这个指标命名为 **WholeMinusSum（整体减总和）协同度**，字面含义：整体联合信息 减去 各部分单独信息之和； 2. **溯源归档**：明确标注该公式的原始数学构思来自早期三篇文献[18–20]，把零散的高阶交互公式整合为统一的协同度量指标； 3. **等价关系绑定**：严格证明 WMS 协同度与**共信息 CoI（Co-information，参考文献21）、交互信息Interaction Information（参考文献22）**互为相反数： $$S_{WMS} = -CoI(S,X,Y)$$ 把WMS归入高阶多元信息交互理论体系，打通了协同度、共信息、条件互信息三者等价转换（文中 $MI(S:Y|X)-MI(S:Y)$ 等价变形）。

三、落地应用拓展：文献[1] 神经编码领域落地 1. 理论成熟后，该指标首次在**神经群体编码**场景实用化（参考文献[1]）； 2. 应用场景：衡量多个神经元组合起来编码外界信号时的协同作用——判断一群神经元共同放电携带的信息量，是否大于单个神经元携带信息量之和，量化神经集群的协同编码增益； 3. 从此WMS从纯数学信息论指标，变为**神经科学、机器学习、特征筛选**通用的协同冗余判断工具。

四、后续框架延伸：互补信息/共享信息分解（式8） 后续信息分解理论完善后，进一步推导出第二层释义： $$S_{WMS}=CI(\text{互补信息})-SI(\text{共享信息})$$ 将WMS从高阶交互信息，拓展到**信息分解范式**：用来区分变量间是互补增效（协同）、还是重复冗余，成为现代信息论特征选择、多源数据融合的经典基准指标。 ### 极简时间线总结 1. 初代雏形：[18–20] → 提出三阶交互信息数学结构（未命名） 2. 标准化定名：Griffith & Koch[6] → 定名WholeMinusSum，绑定共信息CoI，完善数学等价式 3. 工程落地：文献[1] → 神经种群编码实证应用 4. 理论扩容：信息分解体系 → 拆解为互补信息−共享信息，适用更广场景

定义

WholeMinusSum（WMS协同度）两种通俗定义：

定义1：(互信息差值定义）来自【6】2014year，page7-8

[math]\displaystyle{ S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y) }[/math]

[math]\displaystyle{ = MI(S: Y|X) - MI(S:Y) = -H(S,Y,X) + H(X,Y) + H(S,X) + H(S,Y)- H(S) - H(X) - H(Y) = -CoI(S,X,Y) 来自【21】2003year，【22】1954year }[/math]

MI(S:X,Y)：两个变量X、Y合在一起对目标S的联合互信息

MI(S:X)：X单独对S的互信息

MI(S:Y)：Y单独对S的互信息

离散随机变量的互信息 定义为： [math]\displaystyle{ MI(X:Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} }[/math]

离散随机变量的条件互信息 定义为： [math]\displaystyle{ MI(X:Y|Z) = \sum_{x,y,z} p(x,y|z)p(z) \log \frac{p(x,y|z)}{p(x|z)p(y|z)} }[/math]

离散随机变量的熵 定义为： [math]\displaystyle{ H(X) = -\sum_x p(x) \log p(x) }[/math]

连续随机变量的微分熵 定义为： [math]\displaystyle{ H(X) = -\int_x p(x) \log p(x) \mathrm{d}x }[/math]

其中 p 现在表示 X 相对于 [math]\displaystyle{ \mathrm{d}x }[/math]的概率密度。

取勒贝格测度，具有协方差矩阵 [math]\displaystyle{ \Sigma_X }[/math] 的 m 维高斯随机向量的熵 定义为：

[math]\displaystyle{ H(X) = \frac{1}{2} \log |\Sigma_X| + \frac{1}{2} m \log(2\pi e) }[/math]

其中 [math]\displaystyle{ |\Sigma_X| }[/math]表示 [math]\displaystyle{ \Sigma_X }[/math] 的行列式。

这种熵在坐标变换下不是不变的。

事实上，如果 [math]\displaystyle{ A \in \mathbb{R}^{m \times m} }[/math]，那么 AX 的协方差矩阵由 [math]\displaystyle{ A\Sigma_X A^t }[/math]给出，因此 AX 的熵为： [math]\displaystyle{ H(AX)= H(X) + \log|A| }[/math]

相比之下，连续随机变量的互信息不依赖于参考测度的选择。

关系 MI(X:Y) = H(X) + H(Y) - H(X,Y) 表明，对于具有协方差矩阵 [math]\displaystyle{ \Sigma_X、\Sigma_Y }[/math] 且联合多元高斯分布的联合协方差矩阵为 [math]\displaystyle{ \Sigma_{X,Y} }[/math] 的高斯随机向量， [math]\displaystyle{ MI(X:Y) = \frac{1}{2} \log \frac{|\Sigma_X|\cdot |\Sigma_Y| }{ |\Sigma_{X,Y}| } }[/math]

并且很容易直接验证，这与 X 和 Y 的线性变换无关（当然，在这里，不应该对混合了 X 和 Y 分量的总向量 (X,Y) 应用线性变换）。

定义2：信息分解定义（互补信息−共享信息，公式8）

从信息分解框架来看，WMS协同度 = 互补信息CI − 共享信息SI。

- 共享信息SI：X、Y不用配合，各自都单独拥有、重复能解释S的重叠信息；

- 互补信息CI：必须X、Y搭配在一起，组合起来才能挖掘出、单独一方没有的新增信息；

二者相减，就是WMS协同指标。

对应公式 [math]\displaystyle{ S_{WMS}(S:X;Y) = CI(S:X;Y) - SI(S:X;Y) }[/math] 补充：

1. 若 S_{WMS}>0：互补信息 > 共享信息，X和Y存在协同效应，两者搭配能产生单独没有的新信息；

2. 若 S_{WMS}<0：共享信息 > 互补信息，X和Y高度冗余，大部分信息重复，几乎无协同； 3. 若 S_{WMS}=0：互补信息和重叠共享信息持平。