175
个编辑
更改
跳到导航
跳到搜索
第134行：
第134行： − + − + − =\sum_{\mathbf{a}}p(\mathbf{a}|s) − \left[\log\frac{1}{p(s)}-\log\frac{1 {p(s|\mathbf{a})}\right]=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) 第148行：
第146行： + + 第157行：
第157行： − + − − 第167行：
第165行： − + − − − +
无编辑摘要
\end{equation}
\end{equation}
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
==== 冗余信息公理 ====
==== 冗余信息及互信息公理 ====
根据上述定义可以得到如下关于冗余信息的性质：
根据上述定义可以得到如下关于冗余信息的性质：
非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})
非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})=D(p(\mathbf{a}|s)||p(\mathbf{a}))ge 0
\</math>
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
自冗余性:
自冗余性:
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
下面是互信息具有的性质（Griffith 2014）：
全局非负性：<math>I_\cap(X_1,\dots,X_n:Y)\ge 0</math>。
全局非负性：<math>I_\cap(X_1,\dots,X_n:Y)\ge 0</math>。
弱单调性：对任意额外变量 <math>W</math>，
弱单调性：对任意额外变量 <math>W</math>，
<math>I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y)</math>
<math>I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y)</math>且若存在 <math>Z\in\{X_1,\dots,X_n\} </math>使得 <math>Z\preceq W</math>，则等号成立。
且若存在 <math>Z\in\{X_1,\dots,X_n\} </math>使得 <math>Z\preceq W</math>，则等号成立。
弱对称性：<math>I_\cap(X_1,\dots,X_n:Y)</math> 对 <math>X_1,\dots,X_n </math>的排列顺序不变。
弱对称性：<math>I_\cap(X_1,\dots,X_n:Y)</math> 对 <math>X_1,\dots,X_n </math>的排列顺序不变。
下界：若随机变量 <math>Q</math> 满足 <math>Q\preceq X_i</math> 对所有 <math>i=1,\dots,n </math>成立，则
下界：若随机变量 <math>Q</math> 满足 <math>Q\preceq X_i</math> 对所有 <math>i=1,\dots,n </math>成立，则
<math>I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y)</math>
<math>I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y)</math>特别地，<math>Q=X_1\wedge\cdots\wedge X_n</math> 是一个合法选择。由 <math>I_\cap(X:Y)=\mathcal{I}(X:Y)</math> 及弱单调性可推出本性质。
特别地，<math>Q=X_1\wedge\cdots\wedge X_n</math> 是一个合法选择。由 <math>I_\cap(X:Y)=\mathcal{I}(X:Y)</math> 及 弱单调性可推出 下界。
恒等性：
恒等性：
<math>I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y)</math>
<math>I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y)</math>
弱局部非负性：当 <math>n=2</math>时，由 \cite{Williams:2010} 定义的「部分信息」非负。若 全局非负性、弱单调性及
弱局部非负性：当 <math>n=2</math>时，由Williams（2010）定义的部分信息非负。若全局非负性、弱单调性及
<math>I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y)</math>
<math>I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y)</math>
同时成立，则本性质自动满足。
同时成立，则本性质自动满足。