216
个编辑
更改
→冗余信息的公理
设 <math>I_{\cap}(T;\{S_1,\ldots,S_k\})</math> 表示关于目标变量 <math>T</math> 的一般冗余度量，则定义冗余信息时应满足以下三条公理。
设 <math>I_{\cap}(T;\{S_1,\ldots,S_k\})</math> 表示关于目标变量 <math>T</math> 的一般冗余度量，则定义冗余信息时应满足以下三条公理。
'''对称性'''：冗余信息不依赖于信源的排列顺序。对任意置换 <math>\sigma</math>，有：
<math>I_{\cap}(T;\{S_1,\ldots,S_k\})=I_{\cap}(T;\{S_{\sigma(1)},\ldots,S_{\sigma(k)}\}).</math>
'''自冗余性'''：当只包含一个信源时，冗余信息等于该信源与目标变量的互信息：
<math>I_{\cap}(T;\{S\})=I(T;S).</math>
'''单调性'''：加入额外信源不会增加所有信源共同提供的信息：
<math>I_{\cap}(T;\{S_1,\ldots,S_{k-1},S_k\})\leq I_{\cap}(T;\{S_1,\ldots,S_{k-1}\}).</math>
若新加入的源 <math>S_k</math> 包含已有源之一，则加入该源不改变冗余量。
上述三条是对一般冗余度量 <math>I_{\cap}</math> 的公理性要求；下列结论则可由这些公理推出
上述三条是对一般冗余度量 <math>I_{\cap}</math> 的公理性要求；下列结论则可由这些公理推出