集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

部分信息分解 (查看源代码)

2026年7月20日 (一) 23:09的版本

添加893字节 、 2026年7月20日 (星期一)
→‎历史
第1行： 第1行：     
== 历史 ==
 
== 历史 ==
−
1948年，克劳德·艾尔伍德·香农（Claude Elwood Shannon）开启了现代信息论研究，为我们提供了分析数据所蕴含信息的强大工具。香农提出的'''互信息 Mutual Information'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典互信息主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息  Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
+
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代信息论研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息  Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
−
是被广泛使用的一个概念，其是由熵的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
+
是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
   −
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供信息分成三个部分——冗余，特有，协同以在给定冗余函数后，将源变量组与目标变量的互信息分解为若干部分信息原子。他们的思路是首先给出了'''冗余 Redundancy'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''冗余晶格 lattice'''来阐明多变量信息的一般结构。后利用这个冗余晶格提出了其余两种'''部分信息原子 Partial Information Atoms'''（特有信息和协同信息）的定义，并以例子说明了他们构建的'''部分信息分解 Partial Information Decomposition'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。
+
 
 +
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（特有信息和协同信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。
    
== 相关概念 ==
 
== 相关概念 ==
   −
=== 信息熵 ===
+
=== [[信息熵]] ===
 
对于一个有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>的离散随机变量 <math>X</math>,
 
对于一个有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>的离散随机变量 <math>X</math>,
   第24行： 第25行：  
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
 
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
   −
这种公理化思路也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。
+
这种公理化思路也在[[部分信息分解|PID框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。
    
=== [[互信息]] ===
 
=== [[互信息]] ===
第33行： 第34行：  
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
 
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
   −
这种源变量组对目标变量传输的信息量正是PID框架要分解的对象。
+
源变量组对目标变量的传输信息正是PID框架要分解的对象。
   −
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在后文中我们会看到，不论是总相关性、McGill交互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
+
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在百科的后续介绍中我们会看到，不论是[[总相关性]]、[[McGill交互信息]]，抑或是[[部分信息分解|PID框架]]，都需要使用[[信息熵]]、[[互信息]]及[[条件互信息]]出发去刻画随机变量间的关联。
    
设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的[[互信息]]的定义及计算式为:
 
设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的[[互信息]]的定义及计算式为:
第47行： 第48行：       −
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的冗余、特有和协同贡献。
+
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。
    
=== 条件互信息 ===
 
=== 条件互信息 ===
−
对照[[互信息]]的意义，可类似地定义条件互信息，条件互信息刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：
+
对照[[互信息]]的意义，可类似地定义[[条件互信息]]，[[条件互信息]]刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：
   −
设<math>X,Y,Z</math>为离散型随机变量，条件互信息<math>I(X;Y|Z)</math>定义为：
+
设<math>X,Y,Z</math>为离散型随机变量，[[条件互信息]]<math>I(X;Y|Z)</math>定义为：
    
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
 
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
   −
在PID原始框架的两源变量情形中，条件互信息将协同信息与特有信息联系了起来。
+
在PID原始框架的两源变量情形中，[[条件互信息]]将[[协同信息原子|协同信息]]与[[特有信息原子|特有信息]]联系了起来。
    
== PID框架的形成动机 ==
 
== PID框架的形成动机 ==
−
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即为负交互信息提供结构化解释。
+
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的[[总相关性]]框架及William J. McGill于1954提出的[[McGill交互信息|交互信息]]框架，前者提出的[[总相关性]]熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的[[负交互信息问题]]。这些为[[部分信息分解|PID框架]]的形成提供了动机，一方面[[部分信息分解|PID框架]]试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，[[部分信息分解|PID框架]]要给出[[McGill交互信息|交互信息]]框架中负信息的形成机制及其意义，即为[[负交互信息问题]]提供结构化解释。
    
=== 总相关性 ===
 
=== 总相关性 ===
第66行： 第67行：  
<math>\{X_1,X_2,\dots,X_n\}</math>
 
<math>\{X_1,X_2,\dots,X_n\}</math>
   −
其总相关性<math>C(X_1,X_2,\dots,X_n)</math>的定义如下：
+
其[[总相关性]]<math>C(X_1,X_2,\dots,X_n)</math>的定义如下：
    
<math>C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n)</math>
 
<math>C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n)</math>
   −
其中<math>H(X_i)</math>是变量的信息熵<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的联合熵。
+
其中<math>H(X_i)</math>是变量的[[信息熵]]<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的[[联合熵]]。
      −
总相关性量化了目标变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
+
 
 +
[[总相关性]]量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
    
'''例：三变量情形的高阶交互冗余'''
 
'''例：三变量情形的高阶交互冗余'''
第92行： 第94行：     
=== McGill 交互信息 ===
 
=== McGill 交互信息 ===
−
McGill交互信息又称多重互信息或共信息，其定义方式如下
+
[[McGill交互信息]]又称[[McGill交互信息|多重互信息]]或[[MacGill交互信息|共信息]]，其定义方式如下：
   −
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息由互信息和条件互信息组成的递归式给出：
+
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的[[McGill交互信息]]由[[互信息]]和[[条件互信息]]组成的[[递归]]式给出，如下所示
    
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
 
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
      −
当<math>I(X_1,X_2,\dots,X_n)</math>以随机变量的信息熵和联合熵表达时,可以写成如下形式：
+
当<math>I(X_1,X_2,\dots,X_n)</math>以随机变量的[[信息熵]]和[[联合熵]]表达时,可以写成如下形式：
    
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
 
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
第105行： 第107行：     
其中<math>H(\emptyset)=0</math>
 
其中<math>H(\emptyset)=0</math>
−
  −
      
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
 
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
第113行： 第113行：  
'''负交互信息问题'''
 
'''负交互信息问题'''
   −
对单变量的信息熵而言，信息熵始终是一非负值，但在McGill的交互信息框架中却会出现多变量间交互信息为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，PID就是其中一种。
+
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，[[部分信息分解|PID]]就是其中一种。
 +
 
      −
下面的例子展示了McGill交互信息框架中的负信息问题。
+
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
    
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
 
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
第122行： 第123行：  
其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>
 
其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>
   −
但车无法启动,电池工作良好，则可推出发动机故障，从而
+
但车无法启动,电池工作良好，则可推出发动机故障，从而：
    
<math>I(Y;Z|X) > 0</math>
 
<math>I(Y;Z|X) > 0</math>
   −
此时
+
此时：
    
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
 
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
      −
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
+
[[McGill交互信息]]负值的出现意味着本不是冗余的信息被计算成了[[冗余信息原子|冗余信息,]]从而暗示了以往被算作“[[冗余信息原子|冗余信息]]”的部分可能包含着多个变量形成整体间互相作用的效果,启发了[[部分信息分解|PID框架]]将[[协同信息原子|协同]]计入[[信息原子]]。
 
== 部分信息分解（PID）框架 ==
 
== 部分信息分解（PID）框架 ==
   −
=== 冗余信息的定义 ===
+
=== [[冗余信息原子|冗余信息]]的定义 ===
−
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>S_i</math>所提供的信息由互信息<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
+
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>S_i</math>所提供的信息由[[互信息]]<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
 
\begin{equation}
 
\begin{equation}
 
I(T;S)=\sum_{t}p(t)\,I(T=t;S)
 
I(T;S)=\sum_{t}p(t)\,I(T=t;S)
第289行： 第290行：  
又由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,又由异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。
 
又由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,又由异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。
   −
（表格的分布取值待修改）
   
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
王亦理
216

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/50670”