更改

<math>I(S=s;\mathbf{A}) </math>是非负的。

<math>I(S=s;\mathbf{A}) </math>是非负的。

证明：

证明：

<math>\[

<math>I(S=s;\mathbf{A})

I(S=s;\mathbf{A})

=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)

=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)

\ge 0,

\ge 0,</math>

\]</math>

其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。

其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。

对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。

根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。gu

对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。

因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。

换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。

==== 其余信息原子计算 ====

==== 其余信息原子计算 ====