3,094
个编辑
更改
→冗余信息的定义
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]
\end{equation}
\end{equation}
项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]度量是每个源关于每个结果所提供信息的最小值的期望，即\begin{equation}
项<math>\log(1/p(t))</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]度量是每个源关于每个结果所提供信息的最小值的期望，即\begin{equation}
I_{\min}(T;\{S_1,S_2,\dots ,S_n\})
I_{\min}(T;\{S_1,S_2,\dots ,S_n\})
=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).
=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).