216
个编辑
更改
跳到导航
跳到搜索
第19行：
第19行： − 通过以上三条公理可确定唯一形式的 <math>H(X)</math>如下,其中<math>K</math>为任意常数：+ − 这种思路也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。+ − + − + − − 第47行：
第45行： − + 第59行：
第57行： − + 第75行：
第73行： − + 第82行：
第80行： + + 第100行：
第100行： + + + + 第1,213行：
第1,217行： +
→历史
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
通过以上三条公理可确定在常熟因子与对数底数之外唯一形式的 <math>H(X)</math>，形式如下,其中<math>K</math>为任意常数：
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
这种公理化方案也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。
=== [[互信息]] ===
=== [[互信息]] ===
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
其定义如下:
其定义如下:
<math>I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。
这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在后文中我们会看到，不论是总相关性、McGill交互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在后文中我们会看到，不论是总相关性、McGill交互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
两个变量的[[互信息]]仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的冗余、独特和协同贡献。
=== 条件互信息 ===
=== 条件互信息 ===
== PID框架的形成动机 ==
== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即为负交互信息提供结构化解释。
=== 总相关性 ===
=== 总相关性 ===
总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
'''例：三变量情形的高阶交互冗余'''
'''例：三变量情形的高阶交互冗余（待修改）'''
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
（实例待更换为XOR电路门）
一个实例：令<math>X_1,X_2,X_3</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
一个实例：令<math>X_1,X_2,X_3</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
其中<math>H(\emptyset)=0</math>
3.专门实现PID计算的pietromarchesi库：https://github.com/pietromarchesi/pidpy
3.专门实现PID计算的pietromarchesi库：https://github.com/pietromarchesi/pidpy
<references />