更改

\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]

\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]

\end{equation}

\end{equation}

项<math>1/p(t)</math>称为<math>t</math>的不确定度(surprise)，项<math>log1/p(t)</math>即<math>t</math>的香农熵。因此 <math>I(T=t;S)</math>表示已知<math>S</math>中的每个<math>s</math>后以t为条件下s发生的概率为权重的<math>t</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值的期望，即

项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>表示已知<math>S</math>中的每个<math>s</math>后以t为条件下s发生的概率为权重的<math>t</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值的期望，即

\begin{equation}

\begin{equation}

I_{\min}(T;\{S_1,S_2,\dots ,S_n\})

I_{\min}(T;\{S_1,S_2,\dots ,S_n\})