3,094
个编辑
更改
跳到导航
跳到搜索
第148行：
第148行： − 1.非负性：要证明[[冗余]]信息是非负的，只需要证明<math>I(T=t;S)</math>是非负的。我们有<math>I(T=t;S)=D(p(s|t)||p(s))\ge 0+ − + − 其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。+ + + + − 2.上界性：+ − 对所有 <math>S_i</math>都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有 <math>I(T=t;S_i)=I(T=t;S_j)</math>时等号成立。 − − 3.自[[冗余]]性： − 根据上界性，我们可知信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>S</math>，与<math>S</math>[[冗余]]的信息量最大为<math>I_{\min}(T;\{S\})=I(T;S)</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于[[互信息]]在自信息 <math>I(T;T)=H(T)</math> 最大化的性质。 − − 4.单调性（对冗余格）：若 <math> \alpha \preccurlyeq \beta </math>（在冗余格中 <math> \alpha </math> 低于 <math> \beta </math>），则<math>I_{\min}(T; \alpha) \le I_{\min}(T; \beta) </math>即更“高”的节点（包含更多信息或更大源集合）至少具有同样多的冗余信息。 − − 5. 退化性（子集关系）：若存在源 <math> A \subset B </math>，则<math>I_{\min}(S; \{A, B\}) = I_{\min}(S; \{A\}) = I(S; A) </math> − 因为 A 提供的信息已被 B 包含，冗余退化为较小源的自冗余。 − − 6.对称性：冗余对信源的顺序不变，设共有n个源变量，则<math>I(T;S_1,S_2,...,S_n)=I(T;S_{\sigma(1)},S_{\sigma(2)},...,S_{\sigma(n)})</math> − − −
→冗余信息的若干性质
根据上述定义,Williams和Beer<ref name="Paul" /> 给出了[[冗余]]信息具有的一些重要性质:
根据上述定义,Williams和Beer<ref name="Paul" /> 给出了[[冗余]]信息具有的一些重要性质:
# '''非负性'''：要证明[[冗余]]信息是非负的，只需要证明 <math>I(T=t;S)</math> 是非负的。我们有 <math>I(T=t;S)=D(p(s|t)||p(s))\ge 0\</math>，其中 <math>D</math> 为 Kullback-Leibler 散度。而显然KL散度是非负的。
\</math>
# '''上界性'''：对所有 <math>S_i</math> 都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有：当 <math>I(T=t;S_i)=I(T=t;S_j)</math> 成立时等号成立。
# '''自冗余性'''：根据上界性，我们可知信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>S</math>，与 <math>S</math> 共享的冗余的信息量最大为 <math>I_{\min}(T;\{S\})=I(T;S)</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于[[互信息]]在源和目标相同的时候，即 <math>I(T;T)=H(T)</math> 时具备最大值的性质。
# '''单调性'''（对冗余格）：若 <math> \alpha \preccurlyeq \beta </math>（在冗余格中 <math> \alpha </math> 低于 <math> \beta </math>），则<math>I_{\min}(T; \alpha) \le I_{\min}(T; \beta) </math>即更“高”的节点（包含更多信息或更大源集合）至少具有同样多的冗余信息。
# '''退化性'''（子集关系）：若存在源 <math> A \subset B </math>，则<math>I_{\min}(S; \{A, B\}) = I_{\min}(S; \{A\}) = I(S; A) </math>，因为 [math]A[/math] 提供的信息已被 [math]B[/math] 包含，冗余退化为较小源的自冗余。
# '''对称性'''：冗余信息对信源的顺序保持不变，设共有[math]n[/math]个源变量，则<math>I(T;S_1,S_2,...,S_n)=I(T;S_{\sigma(1)},S_{\sigma(2)},...,S_{\sigma(n)})</math>，这里<math>\sigma</math> 为一组置换操作对应的映射。
在这些底线性质中:对称性、单调性、自冗余性是定义冗余信息所必须遵守的公理。
在这些底线性质中:对称性、单调性、自冗余性是定义冗余信息所必须的遵守公理。
=== 两源变量[[PID框架]]与部分信息原子 ===
=== 两源变量[[PID框架]]与部分信息原子 ===