175
个编辑
更改
跳到导航
跳到搜索
第130行：
第130行： − + − + − + − + − + − + − + − + − + − + − + − + − +
→冗余信息的定义
=== 冗余信息的定义 ===
=== 冗余信息的定义 ===
（为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节第二段）
（为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节第二段）
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{s}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(T;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为
\begin{equation}
\begin{equation}
I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A})
I(T;\mathbf{A})=\sum_{s}p(s)\,I(T=t;\mathbf{A})
\end{equation}
\end{equation}
其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息。下面需要给出其定义：
其中特定信息<math>I(T=t;\mathbf{A})</math>量化了与<math>T</math>的某一特定结果 <math>t</math>相关联的信息。下面需要给出其定义：
\begin{equation}
\begin{equation}
I(S=s;\mathbf{A})=
I(T=t;\mathbf{A})=
\sum_{\mathbf{a}}p(\mathbf{a}|s)
\sum_{\mathbf{a}}p(\mathbf{a}|t)
\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right]
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|\mathbf{a})}\right]
\end{equation}
\end{equation}
项<math>1/p(s)</math>称为<math>s</math>的不确定度（surprise），项<math>log1/p(s)</math>即<math>s</math>的香农熵。因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以s为条件下a发生的概率为权重的<math>s</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>s</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，那显然可以用这两个取值对<math>s</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(S=s;\mathbf{A})</math>）。总之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即
项<math>1/p(t)</math>称为<math>t</math>的不确定度(surprise)，项<math>log1/p(t)</math>即<math>t</math>的香农熵。因此 <math>I(T=t;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以t为条件下a发生的概率为权重的<math>t</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;\mathbf{A})</math>）。总之，<math>I(T=t;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值的期望，即
\begin{equation}
\begin{equation}
I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
I_{\min}(T;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).
=\sum_{t}p(t)\min_{\mathbf{A}_{i}}I(T=t;\mathbf{A}_{i}).
\end{equation}
\end{equation}
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>T</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>T</math>的不同结果提供信息。
==== 冗余信息及互信息公理 ====
==== 冗余信息及互信息公理 ====
根据上述定义可以得到如下关于冗余信息的性质：
根据上述定义可以得到如下关于冗余信息的性质：
非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})=D(p(\mathbf{a}|s)||p(\mathbf{a}))\ge 0
非负性：要证明冗余信息是非负的，只需要证明<math>I(T=t;\mathbf{A})</math>是非负的。我们有<math>I(T=t;\mathbf{A})=D(p(\mathbf{a}|s)||p(\mathbf{a}))\ge 0
\</math>
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
上界性：
上界性：
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(T;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有 <math>I(T=t;\mathbf{A}_{i})=I(T=t;\mathbf{A}_{j})</math>时等号成立。
自冗余性:
自冗余性:
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(T;\{\mathbf{A}\})=I(T;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(T;T)=H(T)</math> 最大化的性质。
下面是互信息具有的性质（Griffith 2014）：
下面是互信息具有的性质（Griffith 2014）：