WholeMinusSum

历史溯源

WMS（WholeMinusSum）协同度

一、最早理论源头：三篇奠基文献 [18–20]

1. 最先提出多变量联合互信息减去单变量互信息和的数学结构，用来刻画**多个变量组合后新增的高阶交互信息量**，最初命名为**三阶交互信息（3-way interaction information）**； 2. 当时研究初衷：打破二元互信息局限，量化**两个变量共同作用**和**各自独立作用**的信息差值，用来判断变量间是协同增益还是冗余重叠； 3. 该阶段仅停留在纯信息论数学推导，没有命名为WholeMinusSum，只是一个基础数学表达式。 ##

二、正式定名与规范梳理：Griffith & Koch 文献 ### 关键节点：

Griffith 和 Koch 在论文[6]中完成溯源与标准化定义 1. **命名确立**：正式将 $S_{WMS}=MI(S;X,Y)-MI(S;X)-MI(S;Y)$ 这个指标命名为 **WholeMinusSum（整体减总和）协同度**，字面含义：整体联合信息 减去 各部分单独信息之和； 2. **溯源归档**：明确标注该公式的原始数学构思来自早期三篇文献[18–20]，把零散的高阶交互公式整合为统一的协同度量指标； 3. **等价关系绑定**：严格证明 WMS 协同度与**共信息 CoI（Co-information，参考文献21）、交互信息Interaction Information（参考文献22）**互为相反数： $$S_{WMS} = -CoI(S,X,Y)$$ 把WMS归入高阶多元信息交互理论体系，打通了协同度、共信息、条件互信息三者等价转换（文中 $MI(S:Y|X)-MI(S:Y)$ 等价变形）。

三、落地应用拓展：文献[1] 神经编码领域落地 1. 理论成熟后，该指标首次在**神经群体编码**场景实用化（参考文献[1]）； 2. 应用场景：衡量多个神经元组合起来编码外界信号时的协同作用——判断一群神经元共同放电携带的信息量，是否大于单个神经元携带信息量之和，量化神经集群的协同编码增益； 3. 从此WMS从纯数学信息论指标，变为**神经科学、机器学习、特征筛选**通用的协同冗余判断工具。

四、后续框架延伸：互补信息/共享信息分解（式8） 后续信息分解理论完善后，进一步推导出第二层释义： $$S_{WMS}=CI(\text{互补信息})-SI(\text{共享信息})$$ 将WMS从高阶交互信息，拓展到**信息分解范式**：用来区分变量间是互补增效（协同）、还是重复冗余，成为现代信息论特征选择、多源数据融合的经典基准指标。 ### 极简时间线总结 1. 初代雏形：[18–20] → 提出三阶交互信息数学结构（未命名） 2. 标准化定名：Griffith & Koch[6] → 定名WholeMinusSum，绑定共信息CoI，完善数学等价式 3. 工程落地：文献[1] → 神经种群编码实证应用 4. 理论扩容：信息分解体系 → 拆解为互补信息−共享信息，适用更广场景

定义

WholeMinusSum（WMS协同度）两种通俗定义：

定义1：原始基础定义（互信息差值定义，公式7）

文字解释

WMS协同度 = 两个变量X、Y合在一起对目标S的联合互信息 − X单独对S的互信息 − Y单独对S的互信息。 简单说：把X、Y打包在一起能给S提供的总信息量，减去两个变量各自单独能给S提供的信息量之和，多出来的部分就是协同值。

对应公式

S_{WMS}(S:X;Y) = MI(S:X,Y) - MI(S:X) - MI(S:Y) 补充等价关系：这个值刚好等于负的共信息CoI(S,X,Y)，即 S_{WMS} = -CoI(S,X,Y)。

定义2：信息分解定义（互补信息−共享信息，公式8）

文字解释

从信息分解框架来看，WMS协同度 = 互补信息CI − 共享信息SI。

- 共享信息SI：X、Y不用配合，各自都单独拥有、重复能解释S的重叠信息； - 互补信息CI：必须X、Y搭配在一起，组合起来才能挖掘出、单独一方没有的新增信息； 二者相减，就是WMS协同指标。

对应公式

S_{WMS}(S:X;Y) = CI(S:X;Y) - SI(S:X;Y)

补充：

1. 若 S_{WMS}>0：互补信息 > 共享信息，X和Y存在协同效应，两者搭配能产生单独没有的新信息； 2. 若 S_{WMS}<0：共享信息 > 互补信息，X和Y高度冗余，大部分信息重复，几乎无协同； 3. 若 S_{WMS}=0：互补信息和重叠共享信息持平。