5,443
个编辑
更改
跳到导航
跳到搜索
第219行：
第219行： − + − 如何量化这些这些源关于<math>S</math>所提供的冗余信息？当然，每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。 − 然而，关键在于互信息实际上是平均或期望信息，期望是对随机变量的所有可能结果取的。 − 因此，例如，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。 − 形式上，源<math>\mathbf{A}</math>所提供的信息可写为 − + − 对我们而言，最有用的定义是 第234行：
第229行： − + − 换言之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。 − − 鉴于上述考虑，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即 − + − 注意，与互信息类似，<math>I_{\min}</math>也是特定信息项的期望值。+ − − <math>I_{\min}</math>还具有若干重要性质，进一步支持其作为冗余度量的解释： − \begin{itemize} − \item 首先，<math>I_{\min}</math>是非负的，这一性质直接源于特定信息的非负性（见附录~D）。 − \item 第二，对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。 − 因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。 − \item 最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。 − 换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。 − \end{itemize}以下是一些有代表性的定量方法：
→冗余信息计算方法
第一小节W&B的定义：
第一小节W&B的定义：
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为
\begin{equation}
\begin{equation}
I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),
I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),
\end{equation}
\end{equation}
其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息（见附录~A）。
其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息。下面需要给出其定义：
\begin{equation}
\begin{equation}
I(S=s;\mathbf{A})=
I(S=s;\mathbf{A})=
\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].
\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].
\end{equation}
\end{equation}
项 $1/p(s)$ 称为 $s$ 的惊异值（surprise），因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>后 <math>s</math>的平均惊异减少量。
项<math>1/p(s)</math>称为<math>s</math>的不确定度（surprise），项<math>log1/p(s)</math>即<math>s</math>的香农熵。因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以s为条件下a发生的概率为权重的<math>s</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>s</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，那显然可以用这两个取值对<math>s</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(S=s;\mathbf{A})</math>）。总之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即
\begin{equation}
\begin{equation}
I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).
=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).
\end{equation}
\end{equation}
<math>I_{\min}</math>捕捉了“冗余是所有源共有的信息”这一直觉，同时考虑到不同源可能关于 <math>S</math>的不同结果提供信息。
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
以下是一些有代表性的定量方法：
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).