175
个编辑
更改
跳到导航
跳到搜索
第149行：
第149行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→冗余信息公理
自冗余性:
自冗余性:
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
全局非负性：$I_\cap(X_1,\dots,X_n:Y)\ge 0$。
等价类不变性：对任意 $i=1,\dots,n$ 或 $Y$ 替换为信息等价随机变量，$I_\cap(X_1,\dots,X_n:Y)$ 保持不变。
目标单调性：若 $Y\preceq Z$，则
\[
I_\cap(X_1,\dots,X_n:Y)\le I_\cap(X_1,\dots,X_n:Z).
\]
弱单调性：对任意额外变量 $W$，
\[
I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y),
\]
且若存在 $Z\in\{X_1,\dots,X_n\}$ 使得 $Z\preceq W$，则等号成立。
弱对称性：$I_\cap(X_1,\dots,X_n:Y)$ 对 $X_1,\dots,X_n$ 的排列顺序不变。
\end{itemize}
以下性质将交集信息与所选信息度量 $\mathcal{I}(X:Y)$ 联系起来：
下界：若随机变量 $Q$ 满足 $Q\preceq X_i$ 对所有 $i=1,\dots,n$ 成立，则
\[
I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y).
\]
特别地，$Q=X_1\wedge\cdots\wedge X_n$ 是一个合法选择。由 $I_\cap(X:Y)=\mathcal{I}(X:Y)$ 及 (M0) 可推出 (LB)。
恒等性：
\[
I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y).
\]
弱局部非负性：当 $n=2$ 时，由 \cite{Williams:2010} 定义的「部分信息」非负。若 (GP)、(M0) 及
\[
I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y)
\]
同时成立，则 (LP0) 自动满足。
最后，更强的性质如下：
强单调性：对任意额外变量 $W$，
\[
I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y),
\]
且若存在 $Z\in\{X_1,\dots,X_n,Y\}$ 使得 $Z\preceq W$，则等号成立。
强对称性：$I_\cap(X_1,\dots,X_n:Y)$ 对 $X_1,\dots,X_n,Y$ 的排列顺序不变。
强局部非负性：对任意 $n$，由 \cite{Williams:2010} 定义的「部分信息」均非负。
\end{itemize}
=== 两源变量框架与部分信息原子 ===
=== 两源变量框架与部分信息原子 ===