更改

\end{equation}

\end{equation}

<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。

<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。

==== 冗余信息公理 ====

==== 冗余信息及互信息公理 ====

根据上述定义可以得到如下关于冗余信息的性质：

根据上述定义可以得到如下关于冗余信息的性质：

非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})

非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})=D(p(\mathbf{a}|s)||p(\mathbf{a}))ge 0

\left[\log\frac{1}{p(s)}-\log\frac{1 {p(s|\mathbf{a})}\right]=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)

\</math>

\</math>

其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。

其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。

自冗余性:

自冗余性:

根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。

根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。

全局非负性：<math>I_\cap(X_1,\dots,X_n:Y)\ge 0</math>。

全局非负性：<math>I_\cap(X_1,\dots,X_n:Y)\ge 0</math>。

弱单调性：对任意额外变量 <math>W</math>，

弱单调性：对任意额外变量 <math>W</math>，

<math>I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y)</math>

<math>I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y)</math>且若存在 <math>Z\in\{X_1,\dots,X_n\} </math>使得 <math>Z\preceq W</math>，则等号成立。

 

且若存在 <math>Z\in\{X_1,\dots,X_n\} </math>使得 <math>Z\preceq W</math>，则等号成立。

弱对称性：<math>I_\cap(X_1,\dots,X_n:Y)</math> 对 <math>X_1,\dots,X_n </math>的排列顺序不变。

弱对称性：<math>I_\cap(X_1,\dots,X_n:Y)</math> 对 <math>X_1,\dots,X_n </math>的排列顺序不变。

下界：若随机变量 <math>Q</math> 满足 <math>Q\preceq X_i</math> 对所有 <math>i=1,\dots,n </math>成立，则

下界：若随机变量 <math>Q</math> 满足 <math>Q\preceq X_i</math> 对所有 <math>i=1,\dots,n </math>成立，则

<math>I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y)</math>

<math>I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y)</math>特别地，<math>Q=X_1\wedge\cdots\wedge X_n</math> 是一个合法选择。由 <math>I_\cap(X:Y)=\mathcal{I}(X:Y)</math> 及弱单调性可推出本性质。

 

特别地，<math>Q=X_1\wedge\cdots\wedge X_n</math> 是一个合法选择。由 <math>I_\cap(X:Y)=\mathcal{I}(X:Y)</math> 及 弱单调性可推出 下界。

恒等性：

恒等性：

<math>I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y)</math>

<math>I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y)</math>

弱局部非负性：当 <math>n=2</math>时，由 \cite{Williams:2010} 定义的「部分信息」非负。若 全局非负性、弱单调性及

弱局部非负性：当 <math>n=2</math>时，由Williams（2010）定义的部分信息非负。若全局非负性、弱单调性及

<math>I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y)</math>

<math>I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y)</math>

同时成立，则本性质自动满足。

同时成立，则本性质自动满足。