175
个编辑
更改
跳到导航
跳到搜索
第154行：
第154行： − + − + − + − 根据上界性，我们可知+ − 信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>S</math>，与<math>S</math>[[冗余]]的信息量最大为<math>I_{\min}(T;\{S\})=I(T;S)</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于[[互信息]]在自信息 <math>I(T;T)=H(T)</math> 最大化的性质。+ + + + +
→冗余函数/交集信息的若干公理化性质
根据上述定义可以得到如下关于[[冗余]]信息的性质：
根据上述定义可以得到如下关于[[冗余]]信息的性质：
非负性：要证明[[冗余]]信息是非负的，只需要证明<math>I(T=t;S)</math>是非负的。我们有<math>I(T=t;S)=D(p(s|t)||p(s))\ge 0
1.非负性：要证明[[冗余]]信息是非负的，只需要证明<math>I(T=t;S)</math>是非负的。我们有<math>I(T=t;S)=D(p(s|t)||p(s))\ge 0
\</math>
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
上界性：
2.上界性：
对所有 <math>S_i</math>都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有 <math>I(T=t;S_i)=I(T=t;S_j)</math>时等号成立。
对所有 <math>S_i</math>都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有 <math>I(T=t;S_i)=I(T=t;S_j)</math>时等号成立。
自[[冗余]]性:
3.自[[冗余]]性：
根据上界性，我们可知信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>S</math>，与<math>S</math>[[冗余]]的信息量最大为<math>I_{\min}(T;\{S\})=I(T;S)</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于[[互信息]]在自信息 <math>I(T;T)=H(T)</math> 最大化的性质。
4.单调性（对冗余格）：若 <math> \alpha \preccurlyeq \beta </math>（在冗余格中 <math> \alpha </math> 低于 <math> \beta </math>），则<math>I_{\min}(T; \alpha) \le I_{\min}(T; \beta) </math>即更“高”的节点（包含更多信息或更大源集合）至少具有同样多的冗余信息。
5. 退化性（子集关系）：若存在源 <math> A \subset B </math>，则<math>I_{\min}(S; \{A, B\}) = I_{\min}(S; \{A\}) = I(S; A) </math>
因为 A 提供的信息已被 B 包含，冗余退化为较小源的自冗余。
6.对称性：冗余对信源的顺序不变，设共有n个源变量，则<math>I(T;S_1,S_2,...,S_n)=I(T;S_\sigma(1),S_\sigma(2),...,S_\sigma(n))</math>
下面是交集信息具有的性质（Griffith 2014）<ref name="Griffith_intersection_CR" />:
下面是交集信息具有的性质（Griffith 2014）<ref name="Griffith_intersection_CR" />: