3,094
个编辑
更改
跳到导航
跳到搜索
第15行：
第15行： − 1. 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。+ − + − 2. 可加性:若一个随机试验可分解为多个连续的随机试验,那么原随机试验的不确定性应是各不确定性之和。+ − − 3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
→信息熵
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的[[信息熵]],<math>H(X)</math>满足以下三条公理：
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的[[信息熵]],<math>H(X)</math>满足以下三条公理：
# 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
# 可加性:若一个随机试验可分解为多个连续的随机试验,那么原随机试验的不确定性应是各不确定性之和。
# 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
通过以上三条公理可确定在常数因子与对数底数之外唯一形式的 <math>H(X)</math>，形式如下,其中<math>K</math>为任意常数：
通过以上三条公理可确定在常数因子与对数底数之外唯一形式的 <math>H(X)</math>，形式如下,其中<math>K</math>为任意常数：