5,443
个编辑
更改
跳到导航
跳到搜索
第125行：
第125行： − + − − + − \]</math> − 对称性：+ − 由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。+ − 确实可验证：+ − <math>I(S;R_{1})=I(S;R_{2})=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.</math>+ − self-identity: − − 因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。 − 换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
→冗余信息公理
<math>I(S=s;\mathbf{A}) </math>是非负的。
<math>I(S=s;\mathbf{A}) </math>是非负的。
证明：
证明：
<math>\[
<math>I(S=s;\mathbf{A})
I(S=s;\mathbf{A})
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
\ge 0,
\ge 0,</math>
其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。
其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。
上界性：
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。
自冗余性:
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。gu
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====