更改

为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''~~（特有信息和协同信息）的定义，并以例子说明了他们构建的~~'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。

+

为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。

== 相关概念 ==

第36行：第36行：

这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。

−

当<math>X</math>是密度函数为<math>p(x)</math>的连续型随机变量时,其信息熵的定义式为

第44行：第42行：

=== [[联合熵]] ===

−

第62行：第59行：

=== [[条件熵]] ===

利用条件概率，可对多元离散型随机变量组<math>{X_1，X_2,\dots, X_n,Y}</math>定义条件熵<math>H(X_1,X_2,\dots,X_n | Y) = - \sum_{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y)</math>

−

其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。

−

而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。

−

当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:

+

<math>H(X_1,X_2,\dots,X_n | Y) = - \int\int\dots \int _{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n \mathrm{d}y</math>

−

~~<math>H(X_1,X_2,\dots,X_n | Y) = - \int\int\dots \int _{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n \mathrm{d}y</math>~~

−

~~从定义容易推出，条件熵、联合熵与信息熵之间具有如下关系~~

+

从定义容易推出，条件熵、联合熵与信息熵之间具有如下关系：

第108行：第98行：

−

其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>~~单独发生的概率~~

+

其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。

+

−

当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>~~p_XY~~(x,y)</math>~~的连续型随机变量时，此时相应的互信息定义式为~~

+

当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_{XY}(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为：

<math>I(X;Y)

第120行：第111行： −

利用[[Kullback-Leibler散度|Kullback-Leibler散度<math>(D_{\mathrm{KL}}</math>]]，两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>。

+

利用[[Kullback-Leibler散度|Kullback-Leibler散度<math>D_{\mathrm{KL}}</math>]]，两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>。

我们发现，[[Kullback-Leibler散度|在Kullback-Leibler散度]]的视角下，两个变量间的[[互信息]]度量的是它们二元联合分布偏离它们完全独立时构成的联合分布的程度，无法精细地区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。

王亦理

216

个编辑

更改

部分信息分解 (查看源代码)

2026年9月6日 (日) 21:16的版本