216
个编辑
更改
→信息熵
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵。这一函数满足以下三条公理：
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵。<math>H(X)</math>满足以下三条公理：
1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
1. 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
2. 可加性:若一个随机试验可分解为多个连续的随机试验,那么原随机试验的不确定性应是各不确定性之和。
2. 可加性:若一个随机试验可分解为多个连续的随机试验,那么原随机试验的不确定性应是各不确定性之和。