216
个编辑
更改
跳到导航
跳到搜索
第36行：
第36行： + 第45行：
第46行： − + + + + + 第57行：
第62行： + + + + 第80行：
第89行： − + − − 互信息如下: − − − 源变量组对目标变量的互信息正是[[PID框架]]要分解的对象。+
→互信息
这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。
这种公理化思路也在[[部分信息分解|部分信息分解（PID）框架]]的构建中得到了应用，[[部分信息分解|PID框架]]的作者提出[[冗余信息原子]]的单调性、上界性、自冗余性公理以约束[[冗余信息原子]]的数学形式。
对多元离散随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体，可相应地定义表征多元随机变量整体不确定性的联合熵<math>H(X_1,X_2,\dots,X_n) = -\sum_{(x_1,x_2,\dots ,x_n)}p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \quad {（x_1,x_2,\dots,x_n)\in | \Omega(X_1,X_2,\dots,X_n)\} </math>。
对多元离散随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体,可相应地定义
表征多元随机变量整体不确定性的联合熵<math>H(X_1,X_2,\dots,X_n) = -\sum_{(x_1,x_2,\dots ,x_n)}p(x_1,x_2,\dots,x_n)\log p(x_1,x_2,\dots,x_n) \quad {（x_1,x_2,\dots,x_n)\in | \Omega(X_1,X_2,\dots,X_n)\} </math>。
其中<math>\Omega(X_1，X_2,\dots, X_n)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n</math>为样本空间中元素，对应一组特定的随机变量取值。
其中<math>\Omega(X_1，X_2,\dots, X_n)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n</math>为样本空间中元素，对应一组特定的随机变量取值。
=== [[条件熵]] ===
=== [[条件熵]] ===
利用条件概率，可对多元离散型随机变量组<math>{X_1，X_2,\dots, X_n,Y}</math>定义条件熵<math>H(X_1,X_2,\dots,X_n | Y) = - \sum_{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y)</math>
利用条件概率，可对多元离散型随机变量组<math>{X_1，X_2,\dots, X_n,Y}</math>定义条件熵<math>H(X_1,X_2,\dots,X_n | Y) = - \sum_{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y)</math>
其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。
其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。
而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。
而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。
当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:
当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的[[互信息]]<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n ; Y)</math>。
两个变量间的[[互信息]]定义如下:
<math>I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
其中，<math>H(X_1,X_2,\dots,X_n)</math>为源变量组的联合熵，<math>H(X_1,X_2,\dots,X_n|Y)</math>为多变量系统的条件熵。
其中，<math>H(X_1,X_2,\dots,X_n)</math>为源变量组的联合熵，<math>H(X_1,X_2,\dots,X_n|Y)</math>为多变量系统的条件熵。
源变量组对目标变量的[[互信息]]正是PID计算时要分解的对象。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在百科的后续介绍中我们会看到，不论是[[总相关性]]、[[McGill交互信息]]，抑或是[[部分信息分解|PID框架]]，都需要使用[[信息熵]]、[[互信息]]及[[条件互信息]]出发去刻画随机变量间的关联。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在百科的后续介绍中我们会看到，不论是[[总相关性]]、[[McGill交互信息]]，抑或是[[部分信息分解|PID框架]]，都需要使用[[信息熵]]、[[互信息]]及[[条件互信息]]出发去刻画随机变量间的关联。