5,443
个编辑
更改
跳到导航
跳到搜索
第106行：
第106行： − 单调性（非负性为引理）：定理1.I(S=s；A）是非负的。证明。I（S=s；A）=D（p（ajs）p(a)）≥0其中D是Kullback-Leibler距离，最后一步来自信息不平等([15]，第26页）。引理1.I（S=s；A）在格〈P(R)，≤〉上单调递增。10证明。考虑集合A和B，其中A包含于B且C属于R。令C=B\A=.然后我们有.定理2。Imin在格〈A(R)，≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q，A(R)满足Q〈且Imin（S；）<Imin（S；Q）。根据公式(3)，必然存在B使得对于某个结果s S和所有AQ，都有I（S=s；B）<I（S=s；A）。因此，根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈，必然存在A Q使得A≤B。+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + − 根据分布的对称性可知，R1和R2必须提供关于S的相同信息量。实际 上 ， 这 一 点 很 容 易 验 证 ：I（S；R1）= I（S；R2>）=-31 记录31 −32 记录32+ − .self-identity：+ − 对于所有Ai，互信息均小于或等于I（S；Ai），当且仅当对所有i和j以及所有s∈S时，I（S=s；Ai）= I（S = s；Aj）成立。正如预期，冗余信息量被每个信源提供的信息所限制——当且仅当所有信源对S提供完全相同的信息时，两者相等。与前一特性密切相关的是：对于给定信源A，与A冗余的信息量在互信息I（S；{A}）= I（S；A）时达到最大值。换句话说，通过“自冗余”机制实现冗余信息最大化，这类似于互信息由自信息I（S；S）=H(S)实现最大化的特性+ + + + + + + + + +
→冗余信息公理
==== 冗余信息公理 ====
==== 冗余信息公理 ====
单调性（非负性为引理）：
\begin{lemma}
$I(S=s;\mathbf{A})$ 非负。
\end{lemma}
\begin{proof}
\[
I(S=s;\mathbf{A})
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
\ge 0,
\]
其中 $D$ 为 Kullback-Leibler 距离，最后一步由信息不等式得出 \cite{cover2006elements}。
\end{proof}
\begin{lemma}
$I(S=s;\mathbf{A})$ 在格 $\langle\mathcal{P}(\mathbf{R}),\subseteq\rangle$ 上单调递增。
\end{lemma}
\begin{proof}
设 $\mathbf{A}\subset\mathbf{B}\subseteq\mathbf{R}$，令 $\mathbf{C}=\mathbf{B}\setminus\mathbf{A}\neq\emptyset$。
则
\begin{align*}
I(S=s;\mathbf{B})-I(S=s;\mathbf{A}})
=&\sum_{\mathbf{b}}p(\mathbf{b}|s)\log\frac{p(s,\mathbf{b})}{p(s)p(\mathbf{b})}
-\sum_{\mathbf{a}}p(\mathbf{a}|s)\log\frac{p(s,\mathbf{a})}{p(s)p(\mathbf{a})}\\[2mm]
=&\sum_{\mathbf{a},\mathbf{c}}p(\mathbf{a},\mathbf{c}|s)
\log\frac{p(s|\mathbf{a},\mathbf{c})}{p(s|\mathbf{a})}
\ge 0.\qedhere
\end{align*}
\end{proof}
\begin{theorem}
$I_{\min}$ 在冗余格 $\langle\mathcal{A}(\mathbf{R}),\preccurlyeq\rangle$ 上单调递增。
\end{theorem}
\begin{proof}
反证法。假设存在 $\alpha\prec\beta$ 使得 $I_{\min}(S;\beta)<I_{\min}(S;\alpha)$。
则由式 (3)，存在 $\mathbf{B}\in\beta$ 及 $s\in S$ 使得对所有 $\mathbf{A}\in\alpha$ 都有
$I(S=s;\mathbf{B})<I(S=s;\mathbf{A})$。
由引理 2，不存在 $\mathbf{A}\in\alpha$ 满足 $\mathbf{A}\subseteq\mathbf{B}$；
然而由 $\alpha\prec\beta$ 的定义，这样的 $\mathbf{A}$ 必须存在，矛盾。
\end{proof}
对称性：
对称性：
由分布的对称性可知，<math>R_{1}</math> 与 <math>R_{2}</math> 必须提供相同量的信息。
确实可验证：
\[
I(S;R_{1})=I(S;R_{2})
=-\tfrac{1}{3}\log\tfrac{1}{3}-\tfrac{2}{3}\log\tfrac{2}{3}.
\]
self-identity：
\item 第二，对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且等号成立当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>。
因此，冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。
\item 最后，与上一条密切相关，对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。
换言之，冗余信息被“自冗余”最大化，这类似于互信息被自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
\end{itemize}
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====