5,443
个编辑
更改
跳到导航
跳到搜索
第107行：
第107行： − \begin{lemma}+ − $I(S=s;\mathbf{A})$ 非负。+ − \end{lemma}+ − \begin{proof} − − + − + − \end{proof} − − \begin{lemma} − $I(S=s;\mathbf{A})$ 在格 $\langle\mathcal{P}(\mathbf{R}),\subseteq\rangle$ 上单调递增。 − \end{lemma} − \begin{proof} − 设 $\mathbf{A}\subset\mathbf{B}\subseteq\mathbf{R}$，令 $\mathbf{C}=\mathbf{B}\setminus\mathbf{A}\neq\emptyset$。 − 则 − \begin{align*} − I(S=s;\mathbf{B})-I(S=s;\mathbf{A}}) − =&\sum_{\mathbf{b}}p(\mathbf{b}|s)\log\frac{p(s,\mathbf{b})}{p(s)p(\mathbf{b})} − -\sum_{\mathbf{a}}p(\mathbf{a}|s)\log\frac{p(s,\mathbf{a})}{p(s)p(\mathbf{a})}\\[2mm] − =&\sum_{\mathbf{a},\mathbf{c}}p(\mathbf{a},\mathbf{c}|s) − \log\frac{p(s|\mathbf{a},\mathbf{c})}{p(s|\mathbf{a})} − \ge 0.\qedhere − \end{align*} − \end{proof} − − \begin{theorem} − $I_{\min}$ 在冗余格 $\langle\mathcal{A}(\mathbf{R}),\preccurlyeq\rangle$ 上单调递增。 − \end{theorem} − \begin{proof} − 反证法。假设存在 $\alpha\prec\beta$ 使得 $I_{\min}(S;\beta)<I_{\min}(S;\alpha)$。 − 则由式 (3)，存在 $\mathbf{B}\in\beta$ 及 $s\in S$ 使得对所有 $\mathbf{A}\in\alpha$ 都有 − $I(S=s;\mathbf{B})<I(S=s;\mathbf{A})$。 − 由引理 2，不存在 $\mathbf{A}\in\alpha$ 满足 $\mathbf{A}\subseteq\mathbf{B}$； − 然而由 $\alpha\prec\beta$ 的定义，这样的 $\mathbf{A}$ 必须存在，矛盾。 − \end{proof} − \[+ − + − + − \]+ − − \item 第二，对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。 − 因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。 − \item 最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。 − \end{itemize}
→冗余信息公理
==== 冗余信息公理 ====
==== 冗余信息公理 ====
单调性（非负性为引理）：
单调性（非负性为引理）：
<math>I(S=s;\mathbf{A}) </math>是非负的。
证明：
<math>\[
\[
I(S=s;\mathbf{A})
I(S=s;\mathbf{A})
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
\ge 0,
\ge 0,
\]
\]</math>
其中 $D$ 为 Kullback-Leibler 距离，最后一步由信息不等式得出 \cite{cover2006elements}。
其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。
对称性：
对称性：
由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。
由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。
确实可验证：
确实可验证：
<math>I(S;R_{1})=I(S;R_{2})=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.</math>
I(S;R_{1})=I(S;R_{2})
self-identity:
=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。
因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。
self-identity：
换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====