216
个编辑
更改
→互信息
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
在PID框架中，两个变量的互信息自然构成了他们的二阶交互信息，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
=== 条件互信息 ===
=== 条件互信息 ===
== 多变量互信息理论 ==
== 多变量互信息理论 ==
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者开启了以信息计量多个随机变量集合中总冗余度的方式,后者则引出了反直觉的负交互信息问题,这些构成了PID框架形成的动机，一方面PID框架对多变量交互信息中的来源进行彻底、详尽的分析，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者开启了以信息计量多个随机变量集合中总冗余度的方式,后者则引出了反直觉的负交互信息问题,这些构成了PID框架形成的动机，一方面PID框架试图量化多变量信息，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
=== 总相关性 ===
=== 总相关性 ===
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量协同作用的效果,启发了PID框架将协同计入信息原子。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
== 两源变量框架 ==
== 两源变量框架 ==
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
此时，协同恰好为McGill负交互信息的相反数。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得部分信息原子。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得部分信息原子。