更改

跳到导航 跳到搜索
添加2字节 、 2020年11月21日 (六) 23:34
第73行: 第73行:  
:<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math>
 
:<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math>
   −
(其中:{{math|''I''(''x'')}}是[[自信息]],表示单个信息的熵贡献;{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是,当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大; 也就是说,在{{math|1=''H''(''X'') = log ''n''}}这种情况下,熵是最不可预测的。
+
(其中:{{math|''I''(''x'')}}是[[自信息]],表示单个信息的熵贡献;{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是,当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大; 也就是说,在{{math|1=''H''(''X'') = log ''n''}}这种情况下,熵是最不可预测的。
    
对于只有两种可能取值的随机变量的信息熵,其特殊情况为二值熵函数(通常用以为底2对数,因此以香农(Sh)为单位):
 
对于只有两种可能取值的随机变量的信息熵,其特殊情况为二值熵函数(通常用以为底2对数,因此以香农(Sh)为单位):
7,129

个编辑

导航菜单