更改

<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>

<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>

总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性。

总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性，并通过对总相关性的定性分析展示为何其无法细致捕捉这种冗余。

'''例：三变量情形的高阶交互依赖'''

'''例：三变量情形的高阶交互依赖'''

<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。

<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。

[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖例子。]]

[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖的例子。图中粉色部分代表了{X1,X2}构成的整体对X3的依赖。]]

这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。

这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。