更改

部分信息分解 (查看源代码)

2026年10月21日 (三) 14:05的版本

添加33字节、 2026年10月21日 (星期三)

→‎冗余信息的定义

第131行：第131行：

I(T;S)=\sum_{t}p(t)\,I(T=t;S)

\end{equation}

−

~~其中特定信息~~<math>I(T=t;S)</math>量化了与<math>T</math>的某一特定结果 <math>t</math>相关联的信息。下面需要给出其定义：

+

其中特定信息（Specified Information）<math>I(T=t;S)</math>量化了与<math>T</math>的某一特定结果 <math>t</math>相关联的信息。下面需要给出其定义：

\begin{equation}

I(T=t;S)=

第137行：第137行：

\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]

\end{equation}

−

项<math>\log(1/p(t))</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]~~度量是每个源关于每个结果所提供信息的最小值的期望，即~~\begin{equation}

+

项<math>\log(1/p(t))</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]度量是每个源关于每个结果所提供特定信息的最小值的期望，即\begin{equation}

I_{\min}(T;\{S_1,S_2,\dots ,S_n\})

=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).

王盛嘉

175

个编辑