2,435
个编辑
更改
→信息熵与互信息
在信息论中，随机变量的'''熵'''（entropy，又称'''信息熵'''、'''信源熵'''、'''平均自信息量'''）量化了变量的不确定性。考虑到变量所有潜在状态的概率分布，该指标衡量了描述变量状态所需的预期信息量。
在信息论中，随机变量的'''熵'''（entropy，又称'''信息熵'''、'''信源熵'''、'''平均自信息量'''）量化了变量的不确定性。考虑到变量所有潜在状态的概率分布，该指标衡量了描述变量状态所需的预期信息量。
[[文件:Mutual Info.png|替代=|左|无框]]
[[文件:Mutual Info.png|替代=|居左|无框]]
给定一个离散随机变量 <math>X</math>，其取值于集合 <math>\mathcal{X></math>，且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布，则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math> 的底数（即 对数）的选择因应用不同而不同（通常采用2）。
给定一个离散随机变量 <math>X</math>，其取值于集合 <math>\mathcal{X></math>，且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布，则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math> 的底数（即 对数）的选择因应用不同而不同（通常采用2）。
其中 <math>P_{(X,Y)></math> 是 <math>X</math> 和 <math>Y</math> 的 联合概率 ''mass'' 函数，并且<math>P_X</math> 和 <math>P_Y</math> 分别是 <math>X</math> 和 <math>Y</math> 的 边际概率 质量函数。
其中 <math>P_{(X,Y)></math> 是 <math>X</math> 和 <math>Y</math> 的 联合概率 ''mass'' 函数，并且<math>P_X</math> 和 <math>P_Y</math> 分别是 <math>X</math> 和 <math>Y</math> 的 边际概率 质量函数。
==== 部分信息分解 ====
==== 部分信息分解 ====
在信息熵与互信息的基础上，部分信息分解（Partial Information Decomposition）是信息论的进一步扩展，旨在将信息论所关注的成对关系拓展到多个变量间的复杂相互作用。
在信息熵与互信息的基础上，部分信息分解（Partial Information Decomposition）是信息论的进一步扩展，旨在将信息论所关注的成对关系拓展到多个变量间的复杂相互作用。