SURD

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
Matthew(讨论 | 贡献)2026年11月5日 (四) 21:58的版本
跳到导航 跳到搜索

SURD(Synergistic–Unique–Redundant Decomposition of causality,协同–特有–冗余因果分解)是一种基于信息论的观测时间序列分析方法。它衡量一组源变量的过去状态能提供多少关于目标变量未来状态的信息,并区分三类贡献。冗余因果是多个源变量各自都能提供的预测信息,特有因果是某个源变量独有的单变量预测信息,协同因果是联合观测多个源变量时才能获得的额外预测信息。给定全部观测源后,目标仍有的平均不确定性称为因果泄漏(causality leak)。Álvaro Martínez-Sánchez、Gonzalo Arranz 和 Adrián Lozano-Durán 于 2024 年在《Nature Communications》发表了这一方法[1]。

历史溯源与背景

因果推断

在动力系统的观测分析中,一个基本问题是某个变量的过去能否改善对另一个变量未来的预测。1969 年,Clive Granger 在格兰杰因果关系中用预测改善刻画这一时间方向。2000 年,Thomas Schreiber 提出传递熵,衡量在已知目标自身过去的条件下,源变量的过去还能为目标未来提供多少信息。它以条件互信息表述,其中条件化是指将指定的历史信息作为已知条件[2][3]。

SURD 同样以过去和未来的时间顺序规定分析方向。它考察多源观测对未来目标的整体预测信息,可以把目标自身的历史也列为一个源,从而与其他源的贡献一起分解。这里的“因果”指给定观测变量和时间滞后的预测性影响。将结果解释为直接作用或干预效应,还需要关于共同原因、间接路径或系统机制的证据[1][4]。

信息分解

互信息衡量知道一组变量的取值后,另一变量的不确定性平均减少多少。多源互信息给出总量,但其中既可能有多个源重复提供的信息,也可能有各源联合才能提供的信息。Paul L. Williams 和 Randall D. Beer 于 2010 年提出部分信息分解(partial information decomposition,PID)。他们对每种目标结果取各信息源所提供的特定信息的最小值,并用冗余格组织分量。冗余格是一种按信息源集合之间的关系组织分量的偏序结构,可表示不同源组合之间共享的信息[5]。

两个源时,SURD 的四个分量与 Williams 和 Beer 的 [math]\displaystyle{ I_{\min} }[/math] 部分信息分解一致。源多于两个时,SURD 按源变量子集的阶数分配信息增量。它的冗余项由各个单变量的特定信息决定,协同项由联合源超过较低阶基准的增量决定。这样的分解将分量归到单个源或一个源子集,并省去完整冗余格中不同源组合之间的冗余项[5][6]。

数学定义

特定信息(specific information)

设 [math]\displaystyle{ \mathbf{q}(t)=(Q_1(t),\ldots,Q_N(t)) }[/math] 为 [math]\displaystyle{ t }[/math] 时刻的观测源向量,[math]\displaystyle{ Y=Q_j(t+\tau) }[/math] 为目标变量在滞后 [math]\displaystyle{ \tau\gt 0 }[/math] 后的状态。对非空索引集 [math]\displaystyle{ A\subseteq\{1,\ldots,N\} }[/math],记 [math]\displaystyle{ \mathbf{q}_A }[/math] 为源向量中由 [math]\displaystyle{ A }[/math] 指定的分量,[math]\displaystyle{ \mathbf{x}_A }[/math] 为其取值。SURD 对每个概率 [math]\displaystyle{ p(y)\gt 0 }[/math] 的目标状态 [math]\displaystyle{ Y=y }[/math] 单独计算特定信息(原论文也称 specific mutual information)。它衡量在固定目标结果后,源变量的条件分布相对于其整体分布改变了多少[6]。

[math]\displaystyle{ \widetilde i_A(y)=\sum_{\mathbf{x}_A}p(\mathbf{x}_A\mid y)\log_2\frac{p(\mathbf{x}_A\mid y)}{p(\mathbf{x}_A)}=D_{\mathrm{KL}}\!\left(p(\mathbf{q}_A\mid Y=y)\,\Vert\,p(\mathbf{q}_A)\right)\ge 0. }[/math]

 

 

 

 

(1)

式(1)的 [math]\displaystyle{ D_{\mathrm{KL}} }[/math] 是KL散度,一种衡量两个概率分布差异的量。式中的求和遍历源的所有可能取值,固定的是目标状态 [math]\displaystyle{ y }[/math]。用贝叶斯公式可把对数中的比值写成 [math]\displaystyle{ p(y\mid\mathbf{x}_A)/p(y) }[/math]。因此,特定信息也可理解为观测该源子集对目标结果 [math]\displaystyle{ y }[/math] 带来的平均信息增益。再按目标状态的概率加权,就得到通常的互信息 [math]\displaystyle{ I(Y;\mathbf{q}_A)=\sum_y p(y)\widetilde i_A(y) }[/math]。下文采用离散变量或经分箱的连续变量,取以 2 为底的对数,单位为比特。对具备相应概率密度的连续变量,特定信息与互信息也可用积分定义[6]。

冗余、特有与协同因果的计算流程

固定目标状态 [math]\displaystyle{ y }[/math] 后,依次做以下分解。对每个源子集用式(1)计算特定信息,按子集所含变量数 [math]\displaystyle{ m }[/math] 分组。在每组内按数值从小到大排列,记第 [math]\displaystyle{ k }[/math] 项为 [math]\displaystyle{ v_{m,k} }[/math],对应子集为 [math]\displaystyle{ A_{m,k} }[/math],该组最大值为 [math]\displaystyle{ M_m }[/math]。令 [math]\displaystyle{ v_{m,0}=0 }[/math]。加入观测分量不会降低给定目标状态的特定信息,因此各阶最大值 [math]\displaystyle{ M_m }[/math] 随阶数不减[6]。

  1. 冗余。 对一阶组,从零开始取相邻值之差 [math]\displaystyle{ v_{1,k}-v_{1,k-1} }[/math]。当 [math]\displaystyle{ k\lt N }[/math] 时,这段信息分给所有单变量特定信息至少为 [math]\displaystyle{ v_{1,k} }[/math] 的源组成的集合。以三个源的单变量特定信息分别为 [math]\displaystyle{ 0.2,0.5,0.8 }[/math] 比特为例,最低的 [math]\displaystyle{ 0.2 }[/math] 比特由三个源共享,接下来的 [math]\displaystyle{ 0.3 }[/math] 比特由后两个源共享。
  2. 特有。 一阶组最后一段 [math]\displaystyle{ v_{1,N}-v_{1,N-1} }[/math] 归给该状态下信息量最大的单个源。上例中最后一个源的特有贡献为 [math]\displaystyle{ 0.3 }[/math] 比特。若最大值并列,这一增量为零。不同目标状态可以有不同的最大信息源,所以取平均后可以有多个源的特有贡献大于零。
  3. 协同。 对每个 [math]\displaystyle{ m\ge 2 }[/math],以低一阶的最大值 [math]\displaystyle{ M_{m-1} }[/math] 为基准。按当前阶次序,只有同时超过该基准及本阶前一项的部分才是新增信息,归给当前源子集 [math]\displaystyle{ A_{m,k} }[/math]。式(2)写出了这一规则,其中 [math]\displaystyle{ [z]_+=\max(z,0) }[/math]。若同阶不同子集的特定信息相同,排序中的并列处理可能影响增量落到哪个子集,阶内增量之和由各阶最大值确定[6]。
[math]\displaystyle{ \Delta\widetilde i^{S}_{A_{m,k}}(y)=\bigl[v_{m,k}-\max\{M_{m-1},\,v_{m,k-1}\}\bigr]_+. }[/math]

 

 

 

 

(2)

每个目标状态上,未获分配的分量取零。设 [math]\displaystyle{ \Delta\widetilde i^\alpha_A(y) }[/math] 为相应状态下的分量,[math]\displaystyle{ \alpha=R,U,S }[/math] 分别代表冗余、特有和协同。对所有目标状态按发生概率平均,就得到 [math]\displaystyle{ \Delta I^\alpha_A=\sum_y p(y)\Delta\widetilde i^\alpha_A(y) }[/math]。当只有两个源时,可直接取两个单变量特定信息的较小值作为冗余量,各单变量超出冗余量的部分为特有量,联合特定信息超出两者较大值的部分为协同量[6]。

SURD的数学性质

可加性与非负性。 令 [math]\displaystyle{ \mathcal C=\{A\subseteq\{1,\ldots,N\}:|A|\ge 2\} }[/math]。对每个目标状态,一阶各段加起来是一阶最大值,每个更高阶的协同项加起来是该阶最大值相对于上一阶最大值的增量。对目标状态取平均后,全部冗余、特有与协同分量相加,恰好重构全部观测源对目标的互信息。各分量由非负的逐段增量得到[6]。

[math]\displaystyle{ I(Y;\mathbf{q})=\sum_{i=1}^{N}\Delta I^U_{\{i\}}+\sum_{A\in\mathcal C}\Delta I^R_A+\sum_{A\in\mathcal C}\Delta I^S_A. }[/math]

 

 

 

 

(3)

单变量重构。 对任一源 [math]\displaystyle{ Q_i }[/math],其与目标的互信息等于自身特有量与所有包含该源的冗余量之和,即 [math]\displaystyle{ I(Y;Q_i)=\Delta I^U_{\{i\}}+\sum_{A\in\mathcal C:\,i\in A}\Delta I^R_A }[/math]。若该源与目标统计独立,这些特有量和冗余量为零。它仍可与其他源共同提供协同信息,例如下文的异或。对各变量分别作可逆变换,如对每个离散变量重新标记取值,理论分解保持不变[6]。

因果泄漏与归一化。 香农熵 [math]\displaystyle{ H(Y) }[/math] 是目标状态的平均不确定性。完整分解中,从目标的香农熵中扣除式(3)的互信息,剩余的部分就是条件熵 [math]\displaystyle{ L }[/math],即因果泄漏。

[math]\displaystyle{ H(Y)=I(Y;\mathbf{q})+L,\qquad L=H(Y\mid\mathbf{q}). }[/math]

 

 

 

 

(4)

式(4)区分了观测源提供的预测信息和剩余不确定性。未观测的变量、随机扰动或未纳入的历史均可留下预测不确定性。当 [math]\displaystyle{ I(Y;\mathbf{q})\gt 0 }[/math] 时,各分量除以它后相加为 1,表示已获得的预测信息如何分配。当 [math]\displaystyle{ H(Y)\gt 0 }[/math] 时,离散情形下的泄漏比例 [math]\displaystyle{ L/H(Y) }[/math] 介于 0 和 1 之间。若仅计算部分阶次,从目标熵扣除已算分量所得的剩余量还包含省略的高阶协同[1][6]。

样本和变量选择。 原论文对平稳时间序列(统计性质在分析时段内保持稳定的序列)估计过去与未来的联合分布。源向量可以包含同一变量在多个历史滞后的取值。完整算法需评估 [math]\displaystyle{ 2^N-1 }[/math] 个非空源子集。增加源变量、历史滞后或分箱数都会增加估计联合分布的数据需求。原论文的补充材料考察了样本量、分箱精细程度以及概率分布估计方法对结果的影响[1][6]。

已知动力学案例

下列三个二值例子对应原论文的图 1 与补充材料 § S1.5。可把 [math]\displaystyle{ Q_1(t) }[/math]、[math]\displaystyle{ Q_2(t) }[/math] 看作一步更新的输入,[math]\displaystyle{ Y=Q_3(t+1) }[/math] 为输出。这里采用补充材料的无外加噪声版本,输入各以一半概率取 0 或 1,彼此的关系在各例中指定。因此每个例子都有 [math]\displaystyle{ H(Y)=1 }[/math] 比特、[math]\displaystyle{ H(Y\mid Q_1,Q_2)=0 }[/math][1][6]。

冗余

重复输入。 令 [math]\displaystyle{ Q_2(t)=Q_1(t) }[/math],且 [math]\displaystyle{ Y=Q_1(t) }[/math]。单独观察任一输入都能确定输出,合在一起也只能得到相同的 1 比特。因此全部信息归给 [math]\displaystyle{ \Delta I^R_{\{1,2\}}=1 }[/math] 比特。原论文图 5 的随机动力学模型也包含重复观测。两个完全相同的变量提供的共享信息可归给同一个冗余项[1][6]。

特有

单源驱动。 令 [math]\displaystyle{ Q_1(t) }[/math] 和 [math]\displaystyle{ Q_2(t) }[/math] 统计独立,且仍有 [math]\displaystyle{ Y=Q_1(t) }[/math]。第一个源提供完整的 1 比特,第二个源与输出无关,故 [math]\displaystyle{ \Delta I^U_{\{1\}}=1 }[/math] 比特。原论文图 2 的中介链中,[math]\displaystyle{ Q_3 }[/math] 经 [math]\displaystyle{ Q_2 }[/math] 影响 [math]\displaystyle{ Q_1 }[/math]。在所选的一步滞后下,SURD 将 [math]\displaystyle{ Q_3\to Q_2 }[/math] 和 [math]\displaystyle{ Q_2\to Q_1 }[/math] 分别识别为对应目标的特有贡献[1][6]。

协同

异或更新。 令两输入统计独立,且 [math]\displaystyle{ Y=Q_1(t)\oplus Q_2(t) }[/math],即两输入不同时输出为 1,相同时输出为 0。给定任一输入,输出仍以相同概率取两个值。给定两者则可以确定输出。因此两个单变量互信息均为零,联合互信息的 1 比特全部归给 [math]\displaystyle{ \Delta I^S_{\{1,2\}} }[/math]。原论文图 4 的随机动力学例子也体现了这一点。两条作用路径汇入同一目标,SURD 将其中主导的跨变量预测信息分给这两个输入组成的协同项[1][6]。

场景应用

流体力学上的应用

各向同性湍流的能量级联。 各向同性湍流指统计性质在各方向相同的湍流。原论文对三维数值模拟的速度场采用四种滤波尺度,计算各尺度的体积平均能量通量,考察这些通量的时间序列怎样相互预测。结果以冗余和特有项为主,协同项较小。相邻尺度由大到小依次出现特有贡献,与能量级联中动能由较大尺度传向较小尺度的方向一致。在这组信号和所选滞后下,较小尺度对较大尺度的预测贡献表现为冗余[1]。

湍流边界层的内外层耦合。 边界层是靠近固体表面、流动受壁面显著影响的区域。原论文用风洞中两个不同离壁高度的流向速度信号,分析外层和近壁内层之间的关系。所选滞后下,外层对内层的特有项占内层可预测信息的最大部分。外层的可预测信息则以自身历史的特有项为主。两个目标的因果泄漏比例都约为 99%,说明这两个测点只覆盖各自未来状态不确定性中很小的一部分[1]。

其他的新应用

热带太平洋环流。 2026 年,Martínez-Sánchez 和 Lozano-Durán 将 SURD 扩展为按源状态和目标状态细分预测信息的方法,并用于研究沃克环流,即热带太平洋东西向的大气环流。他们分析 1948–2012 年的月资料,在四个月滞后下考察中、东太平洋地表气温距平与西太平洋地表气压距平之间的联系。距平是相对于基准平均值的偏差。研究发现,中太平洋气温与未来西太平洋气压的特有贡献主要出现在两者距平同号的状态。受样本量限制,该应用聚焦于特有和冗余贡献[4]。

海洋热浪与叶绿素变化。 Fang 等用 SURD 分析 1998–2024 年南海夏季海洋热浪期间的表层叶绿素 a 距平。海洋热浪是海温持续异常偏高的事件。在珠江口,研究识别出由累积海表热异常、海表盐度、海表高度异常和纬向风共同提供的四变量协同项。作者据此结合海洋物理观测讨论了河口低盐水滞留与累积热胁迫的联合作用,并将营养盐途径作为有待直接观测检验的解释[7]。

与其他因果推断方法的对比

原论文将 SURD 与四种观测时间序列方法比较。它们都利用观测数据研究变量关系,但衡量的量不同。各方法的条件变量、时间滞后和统计判据也会影响结果[1][6]。

方法 衡量方式 与 SURD 的区别
条件格兰杰因果关系(CGC) 在给定其他历史变量时,比较纳入与移除指定源的预测误差。原论文使用线性版本[6]。 衡量该源在模型中带来的增量预测能力。SURD 将目标未来的可预测信息分配给单个源及源子集。
条件传递熵(CTE) 以条件互信息衡量源历史对目标未来的额外信息,条件包含目标历史和指定的其他变量[3][6]。 双源情形下,给定第二个源后第一个源的条件互信息 [math]\displaystyle{ I(Y;Q_1\mid Q_2) }[/math] 等于第一个源的特有量加上两源的协同量。SURD 分别给出两项。
收敛交叉映射(CCM) 用一个变量的历史重建系统状态,评估据此还原另一变量的能力,并考察这种能力如何随样本量增加而收敛[8]。 依据重建状态中的可恢复性识别动力学耦合。SURD 依据过去与未来的联合概率分布分配预测信息。
PCMCI 先筛选候选因果父节点,即可能直接影响目标的历史变量,再用瞬时条件独立性检验检验每条滞后连接。检验是在指定条件下判断两个变量是否仍有统计关联[9]。 主要输出满足检验条件的滞后因果图。SURD 的输出是各源及源组合对目标的可预测信息分量与剩余不确定性。

原论文图 4 的协同案例展示了输出差异。在该案例中,CTE 和 PCMCI 均检出两个输入到目标的关系,SURD 进一步将主要贡献归到两源的协同项。图 5 的重复源案例中,SURD 将共享贡献明确归为冗余。表 1 的比较以各方法的结果是否符合已知模型中的函数依赖或案例中的预期联系为判据,其结果对应论文采用的模型、样本和算法配置[1]。

参考文献

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 Álvaro Martínez-Sánchez; Gonzalo Arranz; Adrián Lozano-Durán (2024). "Decomposing causality into its synergistic, unique, and redundant components". Nature Communications. 15: 9296. doi:10.1038/s41467-024-53373-4.
  2. ↑ Clive W. J. Granger (1969). "Investigating Causal Relations by Econometric Models and Cross-Spectral Methods". Econometrica. 37 (3): 424–438. doi:10.2307/1912791.
  3. ↑ 3.0 3.1 Thomas Schreiber (2000). "Measuring Information Transfer". Physical Review Letters. 85 (2): 461–464. doi:10.1103/PhysRevLett.85.461.
  4. ↑ 4.0 4.1 Álvaro Martínez-Sánchez; Adrián Lozano-Durán (2026). "Observational causality by states and interaction type for scientific discovery". Communications Physics. 9: 15. doi:10.1038/s42005-025-02447-w.
  5. ↑ 5.0 5.1 Williams, P. L. & Beer, R. D. Nonnegative Decomposition of Multivariate Information. arXiv:1004.2515(2010,预印本)。
  6. ↑ 6.00 6.01 6.02 6.03 6.04 6.05 6.06 6.07 6.08 6.09 6.10 6.11 6.12 6.13 6.14 6.15 6.16 Martínez-Sánchez, Á., Arranz, G. & Lozano-Durán, A. Supplementary Material: Decomposing causality into its synergistic, unique, and redundant components. Nature Communications 15, 9296(2024)。补充材料 PDF,§§ S1–S6。
  7. ↑ Yunlu Fang; Cong Liu; Yicheng Chen; Peiliang Li; Mingyang Li (2026). "Contrasting physical drivers of chlorophyll a responses to summer marine heatwaves in the South China Sea". Ocean Science. 22: 3347–3367. doi:10.5194/os-22-3347-2026.
  8. ↑ George Sugihara; Robert May; Hao Ye; Chih-hao Hsieh; Ethan Deyle; Michael Fogarty; Stephan Munch (2012). "Detecting Causality in Complex Ecosystems". Science. 338 (6106): 496–500. doi:10.1126/science.1227079.
  9. ↑ Jakob Runge; Peer Nowack; Marlene Kretschmer; Seth Flaxman; Dino Sejdinovic (2019). "Detecting and quantifying causal associations in large nonlinear time series datasets". Science Advances. 5 (11): eaau4996. doi:10.1126/sciadv.aau4996.

署名

贡献者:杨明哲。