216
个编辑
更改
跳到导航
跳到搜索
第36行：
第36行： + + + + + + + + + + + + + + − 其定义如下: − + + + + + + 第82行：
第100行： − −
→相关概念
这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。
这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。
对多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体，可相应地定义表征多元随机变量整体不确定性的联合熵<math>H(X_1,X_2,\dots,X_n) = -\sum_{(x_1,x_2,\dots ,x_n)}p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \quad {（x_1,x_2,\dots,x_n） \in | \Omega(X_1,X_2,\dots,X_n)\} </math>.
=== 条件熵 ===
利用条件概率，可对多元随机变量组<math>{X_1，X_2,\dots, X_n,Y}</math>定义条件熵<math>H(X_1,X_2,\dots,X_n | Y) = - \sum_{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y)</math>
从定义不难推出，条件熵和联合熵具有如下关系
<math>H(X_1,X_2,\dots,X_n | Y) = H(X_1,X_2,\dots,X_n,Y)-H(Y)</math>
条件熵表征了当随机变量<math>Y</math>中事件发生后，余下随机变量构成整体的不确定度。下面，我们会利用条件熵定义互信息。
=== [[互信息]] ===
=== [[互信息]] ===
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
互信息如下:
<math>I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
其中，<math>H(X_1,X_2,\dots,X_n)</math>为源变量组的联合熵，<math>H(X_1,X_2,\dots,X_n|Y)</math>为多变量系统的条件熵。
源变量组对目标变量的互信息正是[[PID框架]]要分解的对象。
源变量组对目标变量的互信息正是[[PID框架]]要分解的对象。
其中<math>H(X_i)</math>是变量的[[信息熵]]<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的[[联合熵]]。
其中<math>H(X_i)</math>是变量的[[信息熵]]<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的[[联合熵]]。
[[总相关性]]量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对[[冗余]]结构的细致分析——譬如，在下面例子中所展示的高阶[[冗余]]交互作用。
[[总相关性]]量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对[[冗余]]结构的细致分析——譬如，在下面例子中所展示的高阶[[冗余]]交互作用。