更改

添加188字节 、 2025年10月26日 (日) 18:10
第46行: 第46行:  
==== 冗余信息公理 ====
 
==== 冗余信息公理 ====
 
单调性(非负性为引理):定理1.I(S=s;A)是非负的。证明。I(S=s;A)=D(p(ajs)p(a))≥0其中D是Kullback-Leibler距离,最后一步来自信息不平等([15],第26页)。引理1.I(S=s;A)在格〈P(R),≤〉上单调递增。10证明。考虑集合A和B,其中A包含于B且C属于R。令C=B\A=.然后我们有I(S=s;B)−I(S=s;A)=Xbp(b|s)logp(s,b)p(s)p(b)−Xap(a|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,a,c)p(s)p(a,c)−XaX cp(a,c|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,c|p(a)s|a)p(c|a)=Xap(a)Xcp(c|a,s)logp(c|a,ps)(c|a)=Xap(a)D(p(c|a,s)k p(c|a))≥0.定理2。Imin在格〈A(R),≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q,A(R)满足Q〈且Imin(S;)<Imin(S;Q)。根据公式(3),必然存在B使得对于某个结果s S和所有AQ,都有I(S=s;B)<I(S=s;A)。因此,根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈,必然存在A Q使得A≤B。
 
单调性(非负性为引理):定理1.I(S=s;A)是非负的。证明。I(S=s;A)=D(p(ajs)p(a))≥0其中D是Kullback-Leibler距离,最后一步来自信息不平等([15],第26页)。引理1.I(S=s;A)在格〈P(R),≤〉上单调递增。10证明。考虑集合A和B,其中A包含于B且C属于R。令C=B\A=.然后我们有I(S=s;B)−I(S=s;A)=Xbp(b|s)logp(s,b)p(s)p(b)−Xap(a|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,a,c)p(s)p(a,c)−XaX cp(a,c|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,c|p(a)s|a)p(c|a)=Xap(a)Xcp(c|a,s)logp(c|a,ps)(c|a)=Xap(a)D(p(c|a,s)k p(c|a))≥0.定理2。Imin在格〈A(R),≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q,A(R)满足Q〈且Imin(S;)<Imin(S;Q)。根据公式(3),必然存在B使得对于某个结果s S和所有AQ,都有I(S=s;B)<I(S=s;A)。因此,根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈,必然存在A Q使得A≤B。
−
对称性:
+
对称性:根据分布的对称性可知,R1和R2必须提供关于S的相同信息量。实际 上 , 这 一 点 很 容 易 验 证 :I(S;R1)= I(S;R2>)=-31 记录31 −32 记录32
−
self-identity:
+
.self-identity:
    
==== 其余信息原子计算 ====
 
==== 其余信息原子计算 ====
5,443

个编辑