216
个编辑
更改
跳到导航
跳到搜索
第76行：
第76行： − + 第84行：
第84行： − + − + 第105行：
第105行： − + − 这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。+ + + + + + + + + + + + + +
→总相关性
<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>
<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>
总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性，并通过对总相关性的定性分析展示为何其无法细致捕捉这种冗余。
总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性，并通过对总相关性的定性分析展示为何其无法对其进行细致区分。
'''例：三变量情形的高阶交互依赖'''
'''例：三变量情形的高阶交互依赖'''
<math>X_3=X_1\oplus X_2,</math>
<math>X_3=X_1\oplus X_2,</math>
其中，<math>\oplus</math> 表示[[异或运算]]。由于 <math>X_3</math> 由 <math>X_1</math> 与 <math>X_2</math> 共同决定，三个变量均具有 1 比特的信息熵；同时，
其中，<math>\oplus</math> 表示[[异或运算]]。由于 <math>X_3</math> 由 <math>X_1</math> 与 <math>X_2</math> 共同决定，三个变量均具有1bit的信息熵；同时，
<math>H(X_1,X_2,X_3)=H(X_1,X_2)=2.</math>
<math>H(X_1,X_2,X_3)=H(X_1,X_2)=2 \mathrm{bit</math>
因此，该三变量系统的[[总相关性]]为：
因此，该三变量系统的[[总相关性]]为：
</math>
</math>
因此，非零的总相关性表明该系统并非完全独立；而两两互信息均为零则表明，这种依赖不能由任意一对变量之间的关系解释。它只有在同时观察 <math>X_1</math> 与 <math>X_2</math> 时才出现，是一种高阶交互依赖。
因此，非零的总相关性表明该系统并非完全独立；而两两互信息均为零则表明，这种依赖不能由任意一对变量之间的关系解释。它只有在同时观察 <math>X_1</math> 与 <math>X_2</math> 时才出现，是一种高阶交互依赖.而总相关性
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖的例子。图中粉色部分代表了{X1,X2}构成的整体对X3的依赖。]]
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖的例子。图中粉色部分代表了{X1,X2}构成的整体对X3的依赖。]]
该例也说明了总相关性的局限：总相关性能够量化一个变量组整体偏离相互独立状态的程度，却无法可画依赖的具体结构。举例而言，若 <math>Y_1=Y_2</math> 为同一个均匀二元随机变量，<math>Y_3</math> 为与其独立的均匀二元随机变量，则同样有：
<math>C(Y_1,Y_2,Y_3)=1\ \mathrm{bit}.</math>
但这一系统的依赖来自 <math>Y_1</math> 与 <math>Y_2</math> 的重复信息，而非三个变量之间的高阶协同。可见，即使两个系统具有相同的总相关性，它们的信息组织方式也可能截然不同。
若将异或系统中的 <math>X_1</math>、<math>X_2</math> 分别视为信源 <math>S_1</math>、<math>S_2</math>，并将 <math>X_3</math> 视为目标变量 <math>T</math>，则：
<math>
I(S_1;T)=I(S_2;T)=0,\qquad
I(S_1,S_2;T)=1\ \mathrm{bit}.
</math>
这一例子表明，仅以“变量间的整体相关情况”来描述多变量系统并不充分，构成了PID框架对传输信息的结构进行细致分解的动机之一。
=== McGill 交互信息 ===
=== McGill 交互信息 ===