216
个编辑
更改
跳到导航
跳到搜索
第34行：
第34行： − 在单一源的情形下，两个随机变量的互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。 − + + + 第45行：
第46行： − 两个变量的互信息仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。+ − 对照互信息的意义，可类似地定义条件互信息，条件互信息刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：+ 第86行：
第87行： − +
→互信息
设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的互信息的定义及计算式为:
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在后文中我们会看到，不论是总相关性、McGill交互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的[[互信息]]的定义及计算式为:
<math>I(X;Y)
<math>I(X;Y)
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
两个变量的[[互信息]]仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
=== 条件互信息 ===
=== 条件互信息 ===
对照[[互信息]]的意义，可类似地定义条件互信息，条件互信息刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：
设<math>X,Y,Z</math>为离散型随机变量，条件互信息<math>I(X;Y|Z)</math>定义为：
设<math>X,Y,Z</math>为离散型随机变量，条件互信息<math>I(X;Y|Z)</math>定义为：
高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
=== McGill 交互信息(多重互信息、共信息、协同) ===
=== McGill 交互信息(多重互信息、共信息) ===
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：