216
个编辑
更改
→总相关性
'''例：三变量情形的高阶交互依赖'''
'''例：三变量情形的高阶交互依赖'''
设 <math>X_1</math> 与 <math>X_2</math> 为相互独立的均匀二元随机变量，并令：
设 <math>X_1</math> 与 <math>X_2</math> 为相互独立的均匀二元随机变量，即 <math>P(X_1=0)=P(X_1=1)=P(X_2=0)=P(X_2=1)=\tfrac{1}{2}</math>，并令：
<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。
<math>X_3=X_1\oplus X_2,</math>
其中，<math>\oplus</math> 表示[[异或运算]]。由于 <math>X_3</math> 由 <math>X_1</math> 与 <math>X_2</math> 共同决定，三个变量均具有 1 比特的信息熵；同时，
<math>H(X_1,X_2,X_3)=H(X_1,X_2)=2.</math>
因此，该三变量系统的[[总相关性]]为：
<math>
\begin{aligned}
C(X_1,X_2,X_3)
&=H(X_1)+H(X_2)+H(X_3)-H(X_1,X_2,X_3)\\
&=1+1+1-2\\
&=1\ \mathrm{bit}.
\end{aligned}
</math>
另一方面，任意两个变量均相互独立：
<math>
I(X_1;X_2)=I(X_1;X_3)=I(X_2;X_3)=0.
</math>
因此，非零的总相关性表明该系统并非完全独立；而两两互信息均为零则表明，这种依赖不能由任意一对变量之间的关系解释。它只有在同时观察 <math>X_1</math> 与 <math>X_2</math> 时才出现，是一种高阶交互依赖。
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖的例子。图中粉色部分代表了{X1,X2}构成的整体对X3的依赖。]]
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖的例子。图中粉色部分代表了{X1,X2}构成的整体对X3的依赖。]]