216
个编辑
更改
→互信息
为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（目标变量与某个信源自身的冗余信息量是所有包含这个信源的冗余信息中的最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。
为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（目标变量与某个信源自身的冗余信息量是所有包含这个信源的冗余信息中的最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。
PID框架的局限集中在两点，其一是冗余信息的公理化方案约束出的部分信息原子形式不唯一，且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"，为此，多为人员尝给出部分信息原子公理化的方案，这些PID框架各自在不同公理组合下成立；其二则是信息原子的计算可行性问题——对变量数过大规模系统，使用Williams和Beer原始PID方案对复杂系统进行PID分析会产生过高的计算成本，为此高斯型PID框架，作为提高标准PID框架可计算度的扩展方案被提出。扩展
PID框架的局限集中在两点，其一是冗余信息的公理化方案约束出的部分信息原子形式不唯一，且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"，为此，多为人员尝给出部分信息原子公理化的方案，这些PID框架各自在不同公理组合下成立；其二则是信息原子的计算可行性问题——对变量数过大规模系统，使用Williams和Beer原始PID方案对复杂系统进行PID分析会产生过高的计算成本，为此高斯型PID框架，作为提高标准PID框架可计算度的扩展方案被提出。扩展
尽管PID框架存在上述，但其独特的理论结构和优良的可扩展性，使得PID框架可以通过灵活的扩展框架或变体应用于不同场景之中。
尽管PID框架存在上述，但其独特的理论结构和优良的可扩展性，使得PID框架可以通过灵活的扩展框架或变体应用于不同场景之中。
利用[[Kullback-Leibler散度|Kullback-Leibler散度<math>D_{\mathrm{KL}}</math>]]，两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>。
利用[[Kullback-Leibler散度|Kullback-Leibler散度<math>D_{\mathrm{KL}}</math>]]，两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>。
不难发现，[[Kullback-Leibler散度|在Kullback-Leibler散度]]的视角下，两个变量间的[[互信息]]度量的是它们二元联合分布偏离它们完全独立时构成的联合分布的程度，无法精细地区分多源情形中的[[冗余信息原子|冗余]]、[[特有信息原子|特有]]和[[协同信息原子|协同]]贡献。
=== [[条件互信息]] ===
=== [[条件互信息]] ===