| 第19行： |
第19行： |
| | 为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。 | | 为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。 |
| | | | |
| − | == 相关概念 == | + | == [[信息论]]基础 == |
| | | | |
| − | === [[信息熵]] ===
| + | 部分信息分解（Partial Information Decomposition，PID）研究多个信源如何共同提供关于目标变量的信息。设 <math>X_1,\ldots,X_n</math> 为 <math>n</math> 个信源，<math>Y</math> 为目标变量，并记信源组为 <math>\mathbf{X}=(X_1,\ldots,X_n)</math>。PID 所分解的对象是信源组与目标变量之间的[[互信息]]。 |
| − | 对于一个有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>的离散随机变量 <math>X</math>,
| |
| | | | |
| − | 每个可能取值对应的概率记为 <math>\{p_1,p_2,\dots,p_n\}</math>。
| + | 对于取值集合为 <math>\{x_1,\ldots,x_m\}</math> 的离散随机变量 <math>X</math>，记 <math>p_i=P(X=x_i)</math>。其[[信息熵]]定义为: |
| − | 度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的[[信息熵]],<math>H(X)</math>满足以下三条公理：
| |
| | | | |
| − | # 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
| + | <math>H(X)=-\sum_{i=1}^{m}p_i\log p_i.</math> |
| − | # 可加性:若一个随机试验可分解为多个连续的随机试验,那么原随机试验的不确定性应是各不确定性之和。
| |
| − | # 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
| |
| | | | |
| − | 通过以上三条公理可确定在常数因子与对数底数之外唯一形式的 <math>H(X)</math>，形式如下,其中<math>K</math>为任意常数：
| + | 其中，对数底数决定信息量的单位；当以 2 为底时，单位为[[比特]]（bit）。通常约定 <math>0\log 0=0</math>。[[信息熵]]刻画随机变量取值的不确定程度；其公理化基础及连续变量情形下的[[微分熵]]，可参见[[信息熵]]词条。 |
| | | | |
| − | <math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math> | + | 对于离散随机变量组 <math>\mathbf{X}=(X_1,\ldots,X_n)</math>，其[[联合熵]]定义为： |
| | | | |
| − | 这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。
| + | <math>H(X_1,\ldots,X_n)=-\sum_{(x_1,\ldots,x_n)\in\Omega(X_1,\ldots,X_n)}p(x_1,\ldots,x_n)\log p(x_1,\ldots,x_n),</math> |
| | | | |
| − | 当<math>X</math>是密度函数为<math>p(x)</math>的连续型随机变量时,其信息熵的定义式为：
| + | 其中，<math>\Omega(X_1,\ldots,X_n)</math> 为随机变量组的联合取值空间，<math>p(x_1,\ldots,x_n)</math> 为其[[联合概率分布]]。 |
| | | | |
| − | <math>H(X) = - \int p(x)\log p(x)\mathrm{d}x </math>。 | + | 当观测到目标变量 <math>Y</math> 的取值后，信源组仍具有的不确定性由[[条件熵]]表示： |
| | | | |
| − | === [[联合熵]] ===
| + | <math>H(X_1,\ldots,X_n\mid Y)=-\sum_{x_1,\ldots,x_n,y}p(x_1,\ldots,x_n,y)\log p(x_1,\ldots,x_n\mid y).</math> |
| − | 对多元离散随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体,可相应地定义
| |
| | | | |
| − | 表征多元随机变量整体不确定性的联合熵<math>H(X_1,X_2,\dots,X_n) = -\sum_{(x_1,x_2,\dots ,x_n)}p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \quad {（x_1,x_2,\dots,x_n)\in | \Omega(X_1,X_2,\dots,X_n)\} </math>。
| + | [[条件熵]]与[[联合熵]]满足： |
| | | | |
| − | 其中<math>\Omega(X_1，X_2,\dots, X_n)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n</math>为样本空间中元素，对应一组特定的随机变量取值。
| + | <math>H(X_1,\ldots,X_n\mid Y)=H(X_1,\ldots,X_n,Y)-H(Y).</math> |
| | | | |
| − | 而<math>p(x_1,x_2,\dot,x_n)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>时的联合概率。
| + | 信源组 <math>\mathbf{X}</math> 与目标变量 <math>Y</math> 之间的[[互信息]]定义为： |
| | | | |
| − | 当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>的连续型随机变量组时，其联合熵的定义由下式给出:
| + | <math>I(X_1,\ldots,X_n;Y)=H(X_1,\ldots,X_n)-H(X_1,\ldots,X_n\mid Y).</math> |
| | | | |
| − | <math>H(X_1,X_2,\dots,X_n) = -\int\int\dots \int p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n </math>。 | + | 互信息刻画信源组与目标变量之间的统计依赖程度；它也可写为联合分布 <math>p(\mathbf{X},Y)</math> 与[[边缘分布]]乘积 <math>p(\mathbf{X})p(Y)</math> 之间的 [[Kullback-Leibler 散度]]： |
| | | | |
| − | === [[条件熵]] ===
| + | <math>I(\mathbf{X};Y)=D_{\mathrm{KL}}\!\left(p(\mathbf{X},Y)\,\middle\|\,p(\mathbf{X})p(Y)\right).</math> |
| − | 利用条件概率，可对多元离散型随机变量组<math>{X_1，X_2,\dots, X_n,Y}</math>定义条件熵<math>H(X_1,X_2,\dots,X_n | Y) = - \sum_{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y)</math>
| |
| | | | |
| − | 其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。
| + | 然而，<math>I(X_1,\ldots,X_n;Y)</math> 只能描述信源组整体与目标变量共享的信息量，不能区分这些信息到底是由不同信源重复提供、由某一信源独有提供，还是只有联合观察多个信源时才会获得。PID 正是对这一总互信息作进一步分解，将其表示为[[冗余信息]]、[[特有信息]]和[[协同信息]]等成分。 |
| | | | |
| − | 而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,其余随机变量取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。
| + | 在两个信源 <math>X_1,X_2</math> 的情形下，[[条件互信息]]为： |
| | | | |
| − | 当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:
| + | <math>I(X_1;Y\mid X_2)=H(X_1\mid X_2)-H(X_1\mid X_2,Y).</math> |
| | | | |
| − | <math>H(X_1,X_2,\dots,X_n | Y) = - \int\int\dots \int _{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n \mathrm{d}y</math>
| + | 在标准的二信源 PID 记号下，[[条件互信息]]可写为： |
| | | | |
| − | 从定义容易推出，条件熵、联合熵与信息熵之间具有如下关系：
| + | <math>I(X_1;Y\mid X_2)=\operatorname{Unq}(X_1;Y)+\operatorname{Syn}(X_1,X_2;Y),</math> |
| | | | |
| − | <math>H(X_1,X_2,\dots,X_n | Y) = H(X_1,X_2,\dots,X_n,Y)-H(Y)</math> | + | 即，在已知 <math>X_2</math> 后，<math>X_1</math> 对 <math>Y</math> 提供的信息由 <math>X_1</math> 的特有信息与两个信源的协同信息构成。这一关系说明了条件互信息与 PID 中特有信息、协同信息之间的联系。 |
| − | | |
| − | 条件熵表征了当随机变量<math>Y</math>中事件发生后,余下随机变量构成整体的不确定度。下面，集智百科会利用条件熵定义互信息。
| |
| − | | |
| − | === [[互信息]] ===
| |
| − | 对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
| |
| − | | |
| − | 两个变量间的[[互信息]]定义如下:
| |
| − | | |
| − | <math>I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math> | |
| − | | |
| − | 其中，<math>H(X_1,X_2,\dots,X_n)</math>为源变量组的联合熵，<math>H(X_1,X_2,\dots,X_n|Y)</math>为多变量系统的条件熵。
| |
| − | | |
| − | 源变量组对目标变量的[[互信息]]正是PID计算时要分解的对象。
| |
| − | | |
| − | 在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在百科的后续介绍中我们会看到，不论是[[总相关性]]、[[McGill交互信息]]，抑或是[[部分信息分解|PID框架]]，都需要使用[[信息熵]]、[[互信息]]及[[条件互信息]]出发去刻画随机变量间的关联。
| |
| − | | |
| − | 设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的[[互信息]]的定义及计算式为:
| |
| − | | |
| − | <math>I(X;Y)
| |
| − | =\sum_{i,j}p_{XY}(x_i,y_j)\log_2\left(\frac{p_{XY}(x_i,y_j)}{p_X(x_i)p_{Y}(y_j)}\right)</math>
| |
| − | | |
| − | <math>=\sum_{i,j}p_{XY}(x_i,y_j)\left(\log_2 p_{XY}(x_i,y_j) - \log_2p_{X}(x_i) - \log_2p_{Y}(y_j)\right)</math>
| |
| − | | |
| − | <math>= H_X+H_Y - H_{XY}</math>
| |
| − | | |
| − | 其中<math>p_{XY}(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_{X}(x_i),p_{Y}(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。
| |
| − | | |
| − | 当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_{XY}(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为：
| |
| − | | |
| − | <math>I(X;Y)
| |
| − | =\int\int p_{XY}(x,y)\log_2\left(\frac{p_{XY}(x,y)}{p_X(x)p_{Y}(y)}\right) \mathrm{d}x\mathrm{d}y</math>
| |
| − | | |
| − | 同样有:
| |
| − | | |
| − | <math>I(X:Y)= H_X+H_Y - H_{XY}</math>
| |
| − | | |
| − | 利用[[Kullback-Leibler散度|Kullback-Leibler散度<math>D_{\mathrm{KL}}</math>]]，两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>。
| |
| − | | |
| − | 不难发现，[[Kullback-Leibler散度|在Kullback-Leibler散度]]的视角下，两个变量间的[[互信息]]度量的是它们二元联合分布偏离它们完全独立时构成的联合分布的程度，无法精细地区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。
| |
| − | | |
| − | === [[条件互信息]] ===
| |
| − | 对照[[互信息]]的意义，可类似地定义[[条件互信息]]，[[条件互信息]]刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：
| |
| − | | |
| − | 设<math>X,Y,Z</math>为离散型随机变量，[[条件互信息]]<math>I(X;Y|Z)</math>定义为：
| |
| − | | |
| − | <math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
| |
| − | | |
| − | 在[[PID框架]]原始版本的两源变量情形中，[[条件互信息]]将[[协同信息原子|协同信息]]与[[特有信息原子|特有信息]]联系了起来。
| |
| | | | |
| | == PID框架的形成动机 == | | == PID框架的形成动机 == |