更改

为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（目标变量与某个信源自身的冗余信息量是所有包含这个信源的冗余信息中的最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。

为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（目标变量与某个信源自身的冗余信息量是所有包含这个信源的冗余信息中的最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。

PID框架的局限集中在两点，其一是冗余信息的公理化方案约束出的部分信息原子形式不唯一，且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"，为此，多为人员尝给出部分信息原子公理化的方案，这些PID框架各自在不同公理组合下成立；其二则是信息原子的计算可行性问题——对变量数过大规模系统，使用Williams和Beer原始PID方案对复杂系统进行PID分析会产生过高的计算成本，为此高斯型PID框架，作为提高标准PID框架可计算度的扩展方案被提出。扩展

PID框架的局限集中在两点，其一是冗余信息的公理化方案约束出的部分信息原子形式不唯一，且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"，为此，多为人员尝给出部分信息原子公理化的方案，这些PID框架各自在不同公理组合下成立；其二则是信息原子的计算可行性问题——对变量数过大规模系统，使用Williams和Beer原始PID方案对复杂系统进行PID分析会产生过高的计算成本，为此高斯型PID框架，作为提高标准PID框架可计算度的扩展方案被提出。扩展

尽管PID框架存在上述，但其独特的理论结构和优良的可扩展性，使得PID框架可以通过灵活的扩展框架或变体应用于不同场景之中。

尽管PID框架存在上述，但其独特的理论结构和优良的可扩展性，使得PID框架可以通过灵活的扩展框架或变体应用于不同场景之中。

目前PID 已经成为复杂系统、因果科学、脑与神经科学、人工智能等领域不可或缺的工具，因为它首次提供了一种原则性的语言来回答"信息究竟是谁、以何种方式贡献给目标的"这一核心问题。

目前PID 已经成为复杂系统、因果科学、脑与神经科学、人工智能等领域不可或缺的工具，因为它首次提供了一种原则性的语言来回答"信息究竟是谁、以何种方式贡献给目标的"这一核心问题。

这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。

这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。

当<math>X</math>是密度函数为<math>p(x)</math>的连续型随机变量时,其信息熵的定义式为

当<math>X</math>是密度函数为<math>p(x)</math>的连续型随机变量时,其信息熵的定义式为：

<math>H(X) = - \int p(x)\log p(x)\mathrm{d}x </math>。

<math>H(X) = - \int p(x)\log p(x)\mathrm{d}x </math>。

其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。

其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。

当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_{XY}(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为：

当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_{XY}(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为：

<math>I(X:Y)= H_X+H_Y - H_{XY}</math>

<math>I(X:Y)= H_X+H_Y - H_{XY}</math>

不难现，[[Kullback-Leibler散度|在Kullback-Leibler散度]]的视角下，两个变量间的[[互信息]]度量的是它们二元联合分布偏离它们完全独立时构成的联合分布的程度，无法精细地区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。

 

我们发现，[[Kullback-Leibler散度|在Kullback-Leibler散度]]的视角下，两个变量间的[[互信息]]度量的是它们二元联合分布偏离它们完全独立时构成的联合分布的程度，无法精细地区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。

=== [[条件互信息]] ===

=== [[条件互信息]] ===

一个实例：令<math>X_1,X_2,X_3</math>构成了一两输入XOR电路门，<math>\{X_1,X_2\}</math>为前两个输入的整体输入情况，<math>X_3</math>为<math>X_1\oplus X_2</math>的输出情况。

一个实例：令<math>X_1,X_2,X_3</math>构成了一两输入XOR电路门，<math>\{X_1,X_2\}</math>为前两个输入的整体输入情况，<math>X_3</math>为<math>X_1\oplus X_2</math>的输出情况。

<math>X_1,X_2,X_3</math>两两独立，但<math>\{X_1,X_2\}</math>整体的输入情况<math>\{X_1,X_2\}</math>，和<math>X_3</math>的输出情况之间是冗余的。

<math>X_1,X_2,X_3</math>两两独立，但<math>\{X_1,X_2\}</math>整体的输入情况<math>\{X_1,X_2\}</math>，和<math>X_3</math>的输出情况之间是冗余的。

高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。

高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。