5,443
个编辑
更改
跳到导航
跳到搜索
第45行：
第45行： − + − 对称性：根据分布的对称性可知，R1和R2必须提供关于S的相同信息量。实际 上 ， 这 一 点 很 容 易 验 证 ：I（S；R1）= I（S；R2>）=-31 记录31 −32 记录32+ + +
→冗余信息公理
==== 冗余信息公理 ====
==== 冗余信息公理 ====
单调性（非负性为引理）：定理1.I(S=s；A）是非负的。证明。I（S=s；A）=D（p（ajs）p(a)）≥0其中D是Kullback-Leibler距离，最后一步来自信息不平等([15]，第26页）。引理1.I（S=s；A）在格〈P(R)，≤〉上单调递增。10证明。考虑集合A和B，其中A包含于B且C属于R。令C=B\A=.然后我们有I(S=s;B)−I(S=s;A)=Xbp(b|s)logp(s,b)p(s)p(b)−Xap(a|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,a,c)p(s)p(a,c)−XaX cp(a,c|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,c|p(a)s|a)p(c|a)=Xap(a)Xcp(c|a,s)logp(c|a,ps)(c|a)=Xap(a)D(p(c|a,s)k p(c|a))≥0.定理2。Imin在格〈A(R)，≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q，A(R)满足Q〈且Imin（S；）<Imin（S；Q）。根据公式(3)，必然存在B使得对于某个结果s S和所有AQ，都有I（S=s；B）<I（S=s；A）。因此，根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈，必然存在A Q使得A≤B。
单调性（非负性为引理）：定理1.I(S=s；A）是非负的。证明。I（S=s；A）=D（p（ajs）p(a)）≥0其中D是Kullback-Leibler距离，最后一步来自信息不平等([15]，第26页）。引理1.I（S=s；A）在格〈P(R)，≤〉上单调递增。10证明。考虑集合A和B，其中A包含于B且C属于R。令C=B\A=.然后我们有.定理2。Imin在格〈A(R)，≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q，A(R)满足Q〈且Imin（S；）<Imin（S；Q）。根据公式(3)，必然存在B使得对于某个结果s S和所有AQ，都有I（S=s；B）<I（S=s；A）。因此，根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈，必然存在A Q使得A≤B。
对称性：
根据分布的对称性可知，R1和R2必须提供关于S的相同信息量。实际 上 ， 这 一 点 很 容 易 验 证 ：I（S；R1）= I（S；R2>）=-31 记录31 −32 记录32
.self-identity：
.self-identity：
对于所有Ai，互信息均小于或等于I（S；Ai），当且仅当对所有i和j以及所有s∈S时，I（S=s；Ai）= I（S = s；Aj）成立。正如预期，冗余信息量被每个信源提供的信息所限制——当且仅当所有信源对S提供完全相同的信息时，两者相等。与前一特性密切相关的是：对于给定信源A，与A冗余的信息量在互信息I（S；{A}）= I（S；A）时达到最大值。换句话说，通过“自冗余”机制实现冗余信息最大化，这类似于互信息由自信息I（S；S）=H(S)实现最大化的特性
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====