216
个编辑
更改
跳到导航
跳到搜索
第214行：
第214行： − + − 根据上述定义,Williams和Beer<ref name="Paul" /> 给出了[[冗余]]信息具有的一些重要性质:+ + + − + − + − # '''自冗余性'''：根据上界性，我们可知信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>S</math>，与 <math>S</math> 共享的冗余的信息量最大为 <math>I_{\min}(T;\{S\})=I(T;S)</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于[[互信息]]在源和目标相同的时候，即 <math>I(T;T)=H(T)</math> 时具备最大值的性质。 − # '''单调性'''（对冗余格）：若 <math> \alpha \preccurlyeq \beta </math>（在冗余格中 <math> \alpha </math> 低于 <math> \beta </math>），则<math>I_{\min}(T; \alpha) \le I_{\min}(T; \beta) </math>即更“高”的节点（包含更多信息或更大源集合）至少具有同样多的冗余信息。 − # '''退化性'''（子集关系）：若存在源 <math> A \subset B </math>，则<math>I_{\min}(S; \{A, B\}) = I_{\min}(S; \{A\}) = I(S; A) </math>，因为 [math]A[/math] 提供的信息已被 [math]B[/math] 包含，冗余退化为较小源的自冗余。 − # '''对称性'''：冗余信息对信源的顺序保持不变，设共有[math]n[/math]个源变量，则<math>I(T;S_1,S_2,...,S_n)=I(T;S_{\sigma(1)},S_{\sigma(2)},...,S_{\sigma(n)})</math>，这里<math>\sigma</math> 为一组置换操作对应的映射。 − 在这些底线性质中:对称性、单调性、自冗余性是定义冗余信息所必须遵守的公理。+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→冗余信息的若干性质
注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节开头。
注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节开头。
===冗余信息的若干性质===
===冗余信息的公理与具体度量<math>I_{\min}</math>性质===
在引入了上面关于冗余的定义后，Williams 和 Beer<ref name="Paul" /> 给出了冗余信息度量的一般公理与其所提出的具体度量 <math>I_{\min}</math> 的性质。
==== 冗余信息的公理 ====
设 <math>I_{\cap}(T;\{S_1,\ldots,S_k\})</math> 表示关于目标变量 <math>T</math> 的一般冗余度量，则定义冗余信息时应满足以下三条公理。
# '''非负性'''：要证明[[冗余]]信息是非负的，只需要证明 <math>I(T=t;S)</math> 是非负的。我们有 <math>I(T=t;S)=D(p(s|t)||p(s))\ge 0\</math>，其中 <math>D</math> 为 Kullback-Leibler 散度。而显然KL散度是非负的。
# '''对称性'''：冗余信息不依赖于信源的排列顺序。对任意置换 <math>\sigma</math>，有：
# '''上界性'''：对所有 <math>S_i</math> 都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有：当 <math>I(T=t;S_i)=I(T=t;S_j)</math> 成立时等号成立。
#: <math>I_{\cap}(T;\{S_1,\ldots,S_k\})=I_{\cap}(T;\{S_{\sigma(1)},\ldots,S_{\sigma(k)}\}).</math>
# '''自冗余性'''：当只包含一个信源时，冗余信息等于该信源与目标变量的互信息：
#: <math>I_{\cap}(T;\{S\})=I(T;S).</math>
# '''单调性'''：加入额外信源不会增加所有信源共同提供的信息：
#: <math>I_{\cap}(T;\{S_1,\ldots,S_{k-1},S_k\})\leq I_{\cap}(T;\{S_1,\ldots,S_{k-1}\}).</math>
#: 若新加入的源 <math>S_k</math> 包含已有源之一，则加入该源不改变冗余量。
上述三条是对一般冗余度量 <math>I_{\cap}</math> 的公理性要求；下列结论则可由这些公理推出
'''上界性'''
由对称性、单调性和自冗余性可得，对任一信源 <math>S_i</math> 都有：
<math>
I_{\cap}(T;\{S_1,\ldots,S_k\})
\leq I_{\cap}(T;\{S_i\})
=I(T;S_i).
</math>
因此：
<math>
I_{\cap}(T;\{S_1,\ldots,S_k\})
\leq \min_i I(T;S_i).
</math>
也就是说，冗余信息不超过任何一个单独信源提供的目标信息。
'''反链格上的单调关系'''
在冗余晶格中，若 <math>\alpha\preccurlyeq\beta</math>，则：
<math>
I_{\cap}(T;\alpha)\leq I_{\cap}(T;\beta).
</math>
这一关系是“加入信源不会增加共同信息”的单调性公理在冗余晶格偏序上的表达，并非独立于单调性的第四条公理。需要注意的是，晶格中“更高”的节点表示不同的源集合关系，不应简单解释为“包含更多信息”。
'''子集关系下的退化'''
若一个源 <math>A</math> 包含于另一源 <math>B</math>，即 <math>A\subseteq B</math>，则 <math>A</math> 提供的所有信息均可由 <math>B</math> 获得。根据单调性公理中的等号条件，有：
<math>
I_{\cap}(T;\{A,B\})
=
I_{\cap}(T;\{A\})
=
I(T;A).
</math>
因此，所谓“退化性”不是额外公理，而是单调性在源之间存在包含关系时的直接结果。
==== <math>I_{\min}</math> 的特殊性质 ====
Williams 和 Beer 提出的具体冗余度量为：
<math>
I_{\min}(T;\{S_1,\ldots,S_k\})
=
\sum_t p(t)\min_i I(T=t;S_i).
</math>
其中，特定信息满足：
<math>
I(T=t;S_i)
=
D_{\mathrm{KL}}\!\left(
p(s_i\mid t)\,\middle\|\,p(s_i)
\right)
\geq0.
</math>
由于每个特定信息均非负，其最小值及其关于 <math>t</math> 的期望也非负。因此：
<math>
I_{\min}(T;\{S_1,\ldots,S_k\})\geq0.
</math>
非负性是 <math>I_{\min}</math> 的一个重要性质，但并非仅由对称性、自冗余性和单调性三条公理即可推出。
对于 <math>I_{\min}</math>，上界等号成立当且仅当所有信源对目标变量每个可能结果提供相同的特定信息，即对任意 <math>i,j</math> 及任意 <math>t</math>，均有：
<math>
I(T=t;S_i)=I(T=t;S_j).
</math>
此时：
<math>
I_{\min}(T;\{S_1,\ldots,S_k\})
=
I(T;S_i)
\quad
\text{对所有 }i\text{ 成立}.
</math>
这说明 <math>I_{\min}</math> 在所有信源逐结果提供相同信息时达到其上界；而单信源情形
<math>
I_{\min}(T;\{S\})=I(T;S)
</math>
则是自冗余性公理在 <math>I_{\min}</math> 中的具体实现。
=== 两源变量[[PID框架]]与部分信息原子 ===
=== 两源变量[[PID框架]]与部分信息原子 ===