| 第107行： |
第107行： |
| | ==== 冗余信息公理 ==== | | ==== 冗余信息公理 ==== |
| | 单调性（非负性为引理）： | | 单调性（非负性为引理）： |
| − | \begin{lemma}
| + | <math>I(S=s;\mathbf{A}) </math>是非负的。 |
| − | $I(S=s;\mathbf{A})$ 非负。
| + | 证明： |
| − | \end{lemma}
| + | <math>\[ |
| − | \begin{proof}
| |
| − | \[ | |
| | I(S=s;\mathbf{A}) | | I(S=s;\mathbf{A}) |
| | =D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) | | =D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) |
| | \ge 0, | | \ge 0, |
| − | \] | + | \]</math> |
| − | 其中 $D$ 为 Kullback-Leibler 距离，最后一步由信息不等式得出 \cite{cover2006elements}。 | + | 其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。 |
| − | \end{proof}
| |
| − | | |
| − | \begin{lemma}
| |
| − | $I(S=s;\mathbf{A})$ 在格 $\langle\mathcal{P}(\mathbf{R}),\subseteq\rangle$ 上单调递增。
| |
| − | \end{lemma}
| |
| − | \begin{proof}
| |
| − | 设 $\mathbf{A}\subset\mathbf{B}\subseteq\mathbf{R}$，令 $\mathbf{C}=\mathbf{B}\setminus\mathbf{A}\neq\emptyset$。
| |
| − | 则
| |
| − | \begin{align*}
| |
| − | I(S=s;\mathbf{B})-I(S=s;\mathbf{A}})
| |
| − | =&\sum_{\mathbf{b}}p(\mathbf{b}|s)\log\frac{p(s,\mathbf{b})}{p(s)p(\mathbf{b})}
| |
| − | -\sum_{\mathbf{a}}p(\mathbf{a}|s)\log\frac{p(s,\mathbf{a})}{p(s)p(\mathbf{a})}\\[2mm]
| |
| − | =&\sum_{\mathbf{a},\mathbf{c}}p(\mathbf{a},\mathbf{c}|s)
| |
| − | \log\frac{p(s|\mathbf{a},\mathbf{c})}{p(s|\mathbf{a})}
| |
| − | \ge 0.\qedhere
| |
| − | \end{align*}
| |
| − | \end{proof}
| |
| − | | |
| − | \begin{theorem}
| |
| − | $I_{\min}$ 在冗余格 $\langle\mathcal{A}(\mathbf{R}),\preccurlyeq\rangle$ 上单调递增。
| |
| − | \end{theorem}
| |
| − | \begin{proof}
| |
| − | 反证法。假设存在 $\alpha\prec\beta$ 使得 $I_{\min}(S;\beta)<I_{\min}(S;\alpha)$。
| |
| − | 则由式 (3)，存在 $\mathbf{B}\in\beta$ 及 $s\in S$ 使得对所有 $\mathbf{A}\in\alpha$ 都有
| |
| − | $I(S=s;\mathbf{B})<I(S=s;\mathbf{A})$。
| |
| − | 由引理 2，不存在 $\mathbf{A}\in\alpha$ 满足 $\mathbf{A}\subseteq\mathbf{B}$；
| |
| − | 然而由 $\alpha\prec\beta$ 的定义，这样的 $\mathbf{A}$ 必须存在，矛盾。
| |
| − | \end{proof}
| |
| | 对称性： | | 对称性： |
| | 由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。 | | 由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。 |
| | 确实可验证： | | 确实可验证： |
| − | \[
| + | <math>I(S;R_{1})=I(S;R_{2})=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.</math> |
| − | I(S;R_{1})=I(S;R_{2}) | + | self-identity: |
| − | =-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}. | + | 对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。 |
| − | \]
| + | 因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。 |
| − | self-identity： | |
| − | \item 第二，对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。
| |
| − | 因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。
| |
| − | \item 最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。
| |
| | 换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。 | | 换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。 |
| − | \end{itemize}
| |
| | | | |
| | ==== 其余信息原子计算 ==== | | ==== 其余信息原子计算 ==== |