216
个编辑
更改
跳到导航
跳到搜索
第73行：
第73行： − + − − 第87行：
第85行： − + 第110行：
第108行： +
→信息论基础
<math>C(X_1,\ldots,X_n)=\sum_{i=1}^{n}H(X_i)-H(X_1,\ldots,X_n).</math>
<math>C(X_1,\ldots,X_n)=\sum_{i=1}^{n}H(X_i)-H(X_1,\ldots,X_n).</math>
其中，<math>H(X_i)</math> 为随机变量 <math>X_i</math> 的[[信息熵]]，<math>H(X_1,\ldots,X_n)</math> 为该随机变量组的[[联合熵]]。总相关性也可写为[[联合分布]]与各变量[[边缘分布]]乘积之间的 Kullback–Leibler 散度：
其中，<math>H(X_i)</math> 为随机变量 <math>X_i</math> 的[[信息熵]]，<math>H(X_1,\ldots,X_n)</math> 为该随机变量组的[[联合熵]]。总相关性也可写为[[联合分布]]与各变量[[边缘分布]]乘积之间的 [[Kullback–Leibler 散度]]：
<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>
<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>
总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性。
总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性。
'''例：三变量情形的高阶交互依赖'''
'''例：三变量情形的高阶交互依赖'''
<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。
<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图：以韦恩图展示的三变量系统高阶依赖例子]]
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图：以韦恩图展示的三变量系统高阶依赖例子。]]
这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
相应的[[McGill交互信息]]为右图中的灰色部分:<math>I(X;Y;Z)</math>
相应的[[McGill交互信息]]为右图中的灰色部分:<math>I(X;Y;Z)</math>
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。|缩略图]]
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。|缩略图]]