5,443
个编辑
更改
跳到导航
跳到搜索
第167行：
第167行： − 设A1，A2，...，Ak是R的非空且可能重叠的子集，我们称其为源。每个信息源Ai提供的信息仅由I（S；Ai）表示，即S与Ai之间的互信息。但需要特别注意的是，互信息本质上是一种平均或期望信息的度量指标，其期望值是基于随机变量结果计算得出的。信息源A所提供的信息可表示为+ − 其中，特定信息I(S = s；A）量化了与S的特定结果s相关的信息为量化S和A之间的不同关系，人们提出了各种特定信息的定义，这里选择I(S = s; A) =Xap(a|s)logp(1s)− logp(s1|a) (2)术语 1p(s) 被称为s的不确定度，因此I（S = s；A）是已知A的情况下s的平均不确定度减少量。换句话说，I（S = s；A）量化了A为每个特定结果s∈S提供的信息，而I（S；A）则是这一数量在S的所有结果上的期望值。考虑到这些因素，冗余的自然度量是任何源为S的每个提供的信息的最小值即：Imin(S; {A1, A2, . . . , Ak}) =Xsp(s) minAiI(S = s; Ai).(3)伊明提出了冗余的概念，即所有来源共有的信息（任何来源提供的最小信息），同时考虑到来源可能提供关于S的不同结果的信息。与互信息一样，Imin也是特定信息项的期望值。+ − + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→冗余信息计算方法
第一小节W&B的定义：
第一小节W&B的定义：
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。
如何量化这些这些源关于<math>S</math>所提供的冗余信息？当然，每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。
以下是一些有代表性的定量方法：
然而，关键在于互信息实际上是平均或期望信息，期望是对随机变量的所有可能结果取的。
因此，例如，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。
形式上，源<math>\mathbf{A}</math>所提供的信息可写为
\begin{equation}
I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),
\end{equation}
其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息（见附录~A）。
对我们而言，最有用的定义是
\begin{equation}
I(S=s;\mathbf{A})=
\sum_{\mathbf{a}}p(\mathbf{a}|s)
\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].
\end{equation}
项 $1/p(s)$ 称为 $s$ 的惊异值（surprise），因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>后 <math>s</math>的平均惊异减少量。
换言之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。
鉴于上述考虑，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即
\begin{equation}
I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).
\end{equation}
<math>I_{\min}</math>捕捉了“冗余是所有源共有的信息”这一直觉，同时考虑到不同源可能关于 <math>S</math>的不同结果提供信息。
注意，与互信息类似，<math>I_{\min}</math>也是特定信息项的期望值。
<math>I_{\min}</math>还具有若干重要性质，进一步支持其作为冗余度量的解释：
\begin{itemize}
\item 首先，<math>I_{\min}</math>是非负的，这一性质直接源于特定信息的非负性（见附录~D）。
\item 第二，对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。
因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。
\item 最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。
换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
\end{itemize}以下是一些有代表性的定量方法：
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).