216
个编辑
更改
跳到导航
跳到搜索
第6行：
第6行： − + 第23行：
第23行： − + 第37行：
第37行： − + 第65行：
第65行： − + 第84行：
第84行： − + 第105行：
第105行： − === 两源变量框架 ===+ 第120行：
第120行： − +
→信息熵
== 相关概念 ==
== 相关概念 ==
== 信息熵 ==
=== 信息熵 ===
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。
这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。
== 互信息 ==
=== 互信息 ===
互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
在PID框架中，两个变量的互信息自然构成了他们的一阶冗余，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
在PID框架中，两个变量的互信息自然构成了他们的一阶冗余，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
== 条件互信息 ==
=== 条件互信息 ===
由互信息的定义可导出条件互信息，条件互信息的意义为有第三方变量的约束情况时，两个变量的重叠程度，其定义如下：
由互信息的定义可导出条件互信息，条件互信息的意义为有第三方变量的约束情况时，两个变量的重叠程度，其定义如下：
设<math>\{X_1,X_2,X_3,X_4\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设<math>\{X_1,X_2,X_3,X_4\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
[[File:无标题 1.png|描述]]
[[File:无标题 1.png|描述|链接=Special:FilePath/无标题_1.png]]
一个实例为：令<math>X_1,X_2,X_3,X_4</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
一个实例为：令<math>X_1,X_2,X_3,X_4</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
[[File:Pasted image 20251104135250.png|描述]]
[[File:Pasted image 20251104135250.png|描述|链接=Special:FilePath/Pasted_image_20251104135250.png]]
'''负信息问题'''
'''负信息问题'''
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量协同作用的效果,启发了PID框架将协同计入信息原子。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量协同作用的效果,启发了PID框架将协同计入信息原子。
== 两源变量框架 ==
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>传递的信息分解为如下三个部分,称其为信息原子：
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>传递的信息分解为如下三个部分,称其为信息原子：
[[File:1762497522923 1.png|描述]]
[[File:1762497522923 1.png|描述|链接=Special:FilePath/1762497522923_1.png]]
分别为：
分别为：