更改

第一小节W&B的定义：

第一小节W&B的定义：

令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。

令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为

如何量化这些这些源关于<math>S</math>所提供的冗余信息？当然，每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。

因此，例如，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。

形式上，源<math>\mathbf{A}</math>所提供的信息可写为

\begin{equation}

\begin{equation}

I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),

I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),

\end{equation}

\end{equation}

其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息（见附录~A）。

其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息。下面需要给出其定义：

\begin{equation}

\begin{equation}

I(S=s;\mathbf{A})=

I(S=s;\mathbf{A})=

\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].

\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].

\end{equation}

\end{equation}

项 $1/p(s)$ 称为 $s$ 的惊异值（surprise），因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>后 <math>s</math>的平均惊异减少量。

项<math>1/p(s)</math>称为<math>s</math>的不确定度（surprise），项<math>log1/p(s)</math>即<math>s</math>的香农熵。因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以s为条件下a发生的概率为权重的<math>s</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>s</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，那显然可以用这两个取值对<math>s</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(S=s;\mathbf{A})</math>）。总之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即

换言之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。

 

鉴于上述考虑，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即

\begin{equation}

\begin{equation}

I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})

I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})

=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).

=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).

\end{equation}

\end{equation}

<math>I_{\min}</math>捕捉了“冗余是所有源共有的信息”这一直觉，同时考虑到不同源可能关于 <math>S</math>的不同结果提供信息。

<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。

以下是一些有代表性的定量方法：

 

\item 第二，对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。

\end{itemize}以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).