216
个编辑
更改
→信息论基础
== [[信息论]]基础 ==
== [[信息论]]基础 ==
部分信息分解（Partial Information Decomposition，PID）研究多个信源如何共同提供关于目标变量的信息。设 <math>X_1,\ldots,X_n</math> 为 <math>n</math> 个信源，<math>Y</math> 为目标变量，并记信源组为 <math>\mathbf{X}=(X_1,\ldots,X_n)</math>。PID 所分解的对象是信源组与目标变量之间的[[互信息]]，而互信息的定义是基于多变量[[联合信息熵]]以及[[条件熵]]的，因此，我们有必要对这些量化指标做一一介绍。
部分信息分解（Partial Information Decomposition，PID）分解的对象是信源组与目标变量之间的[[互信息]]，而互信息是基于多变量[[联合信息熵]]以及[[条件熵]]定义的，集智百科将在这一小节中对这些信息论指标进行简介。
==== 信息熵、联合熵与条件熵 ====
设 <math>S_1,\ldots,S_n</math> 为 <math>n</math> 个信源，<math>T</math> 为目标变量，并记信源组为 <math>\mathbf{S}=(S_1,\ldots,S_n)</math>。
<math>H(X)=-\sum_{i=1}^{m}p_i\log p_i.</math>
对于取值集合为 <math>\{s_1,\ldots,s_m\}</math> 的离散随机变量 <math>S</math>，记 <math>p_i=P(S=s_i)</math>。其[[信息熵]]定义为:
<math>H(S)=-\sum_{i=1}^{m}p_i\log p_i.</math>
其中，对数底数决定信息量的单位；当以 2 为底时，单位为[[比特]]（bit）。通常约定 <math>0\log 0=0</math>。[[信息熵]]刻画随机变量取值的不确定程度；其公理化基础及连续变量情形下的[[微分熵]]，可参见[[信息熵]]词条。
其中，对数底数决定信息量的单位；当以 2 为底时，单位为[[比特]]（bit）。通常约定 <math>0\log 0=0</math>。[[信息熵]]刻画随机变量取值的不确定程度；其公理化基础及连续变量情形下的[[微分熵]]，可参见[[信息熵]]词条。
对于离散随机变量组 <math>\mathbf{X}=(X_1,\ldots,X_n)</math>，其[[联合熵]]定义为：
对于离散随机变量组 <math>\mathbf{S}=(S_1,\ldots,S_n)</math>，其[[联合熵]]定义为：
<math>H(X_1,\ldots,X_n)=-\sum_{(x_1,\ldots,x_n)\in\Omega(X_1,\ldots,X_n)}p(x_1,\ldots,x_n)\log p(x_1,\ldots,x_n),</math>
<math>H(S_1,\ldots,S_n)=-\sum_{(s_1,\ldots,s_n)\in\Omega(S_1,\ldots,S_n)}p(s_1,\ldots,s_n)\log p(s_1,\ldots,s_n),</math>
其中，<math>\Omega(X_1,\ldots,X_n)</math> 为随机变量组的联合取值空间，<math>p(x_1,\ldots,x_n)</math> 为其[[联合概率分布]]。
其中，<math>\Omega(S_1,\ldots,S_n)</math> 为随机变量组的联合取值空间，<math>p(s_1,\ldots,s_n)</math> 为其[[联合概率分布]]。
当观测到目标变量 <math>Y</math> 的取值后，信源组仍具有的不确定性由[[条件熵]]表示：
当观测到目标变量 <math>T</math> 的取值后，信源组仍具有的不确定性由[[条件熵]]表示：
<math>H(X_1,\ldots,X_n\mid Y)=-\sum_{x_1,\ldots,x_n,y}p(x_1,\ldots,x_n,y)\log p(x_1,\ldots,x_n\mid y).</math>
<math>H(S_1,\ldots,S_n\mid T)=-\sum_{s_1,\ldots,s_n,t}p(s_1,\ldots,s_n,t)\log p(s_1,\ldots,s_n\mid t).</math>
这里，[math]p(x_1,\ldots,x_n\mid y)[/math]为给定[math]Y[/math]的取值为[math]y[/math]的条件下，[math]X_1,\ldots,X_n[/math]取值为：[math]x_1,\ldots,x_n[/math]的条件概率。
这里，<math>p(s_1,\ldots,s_n\mid T)</math>为给定<math>T=t</math>的条件下<math>S_1,\ldots,S_n</math>取值为:<math>s_1,\ldots,s_n</math>的条件概率。
[[条件熵]]与[[联合熵]]满足：
[[条件熵]]与[[联合熵]]满足：
<math>H(X_1,\ldots,X_n\mid Y)=H(X_1,\ldots,X_n,Y)-H(Y).</math>
<math>H(S_1,\ldots,S_n\mid T)=H(S_1,\ldots,S_n,T)-H(T).</math>
==== 互信息与条件互信息 ====
信源组 <math>\mathbf{X}</math> 与目标变量 <math>T</math> 之间的[[互信息]]定义为：
<math>I(X_1;Y\mid X_2)=H(X_1\mid X_2)-H(X_1\mid X_2,Y).</math>
<math>I(S_1,\ldots,S_n;T)=H(S_1,\ldots,S_n)-H(S_1,\ldots,S_n\mid T).</math>
互信息刻画信源组与目标变量之间的统计依赖程度；它也可写为联合分布 <math>p(\mathbf{S},T)</math> 与[[边缘分布]]乘积 <math>p(\mathbf{S})p(T)</math> 之间的 [[Kullback-Leibler 散度]]：
<math>I(X_1;Y\mid X_2)=\operatorname{Unq}(X_1;Y)+\operatorname{Syn}(X_1,X_2;Y),</math>
<math>I(\mathbf{S};T)=D_{\mathrm{KL}}\!\left(p(\mathbf{S},T)\,\middle\|\,p(\mathbf{S})p(T)\right).</math>
然而，<math>I(S_1,\ldots,S_n;T)</math> 只能描述信源组整体与目标变量共享的信息量，不能区分这些信息是由不同信源重复提供、还由某一信源独有提供，又或是只有联合观察多个信源时才会获得。PID 正是对这一总互信息作进一步分解，将其表示为[[冗余信息]]、[[特有信息]]和[[协同信息]]等成分的动机。
== [[PID框架]]的形成动机 ==
== [[PID框架]]的形成动机 ==
<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。
<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图：以韦恩图展示的三变量系统高阶依赖例子。]]
[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图1：以韦恩图展示的三变量系统高阶依赖例子。]]
这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
相应的[[McGill交互信息]]为右图中的灰色部分:<math>I(X;Y;Z)</math>
相应的[[McGill交互信息]]为右图中的灰色部分:<math>I(X;Y;Z)</math>
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。来源：https://en.wikipedia.org/wiki/Interaction_information|缩略图]]
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|338x338px|图2：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。来源：https://en.wikipedia.org/wiki/Interaction_information|缩略图]]
'''交互信息的负值问题'''
'''交互信息的负值问题'''