216
个编辑
更改
→历史
== 历史 ==
== 历史 ==
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代信息论研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代[[信息论 Information theory|信息论]]研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
每个可能取值对应的概率记为 <math>\{p_1,p_2,\dots,p_n\}</math>。
每个可能取值对应的概率记为 <math>\{p_1,p_2,\dots,p_n\}</math>。
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵,<math>H(X)</math>满足以下三条公理：
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的[[信息熵]],<math>H(X)</math>满足以下三条公理：
1. 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
1. 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
=== [[互信息]] ===
=== [[互信息]] ===
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
其定义如下:
其定义如下:
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
源变量组对目标变量的传输信息正是[[PID框架]]要分解的对象。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在百科的后续介绍中我们会看到，不论是[[总相关性]]、[[McGill交互信息]]，抑或是[[部分信息分解|PID框架]]，都需要使用[[信息熵]]、[[互信息]]及[[条件互信息]]出发去刻画随机变量间的关联。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在百科的后续介绍中我们会看到，不论是[[总相关性]]、[[McGill交互信息]]，抑或是[[部分信息分解|PID框架]]，都需要使用[[信息熵]]、[[互信息]]及[[条件互信息]]出发去刻画随机变量间的关联。
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
在[[PID框架]]原始版本的两源变量情形中，[[条件互信息]]将[[协同信息原子|协同信息]]与[[特有信息原子|特有信息]]联系了起来。
== PID框架的形成动机 ==
== PID框架的形成动机 ==
[[总相关性]]量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
[[总相关性]]量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对[[冗余]]结构的细致分析——譬如，在下面例子中所展示的高阶[[冗余]]交互作用。
'''例：三变量情形的高阶交互冗余'''
'''例：三变量情形的高阶交互[[冗余]]'''
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
其中<math>H(\emptyset)=0</math>
其中<math>H(\emptyset)=0</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的[[McGill交互信息]]为下图中的灰色部分:<math>I(X;Y;Z)</math>
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|居中|600x600像素]]
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|居中|600x600像素]]