给定一个离散随机变量 <math>X</math>,其取值于集合 <math>\mathcal{X}</math>,且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布,则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math> 的底数(即 对数)的选择因应用不同而不同(通常采用2)。 | 给定一个离散随机变量 <math>X</math>,其取值于集合 <math>\mathcal{X}</math>,且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布,则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math> 的底数(即 对数)的选择因应用不同而不同(通常采用2)。 |