5,443
个编辑
更改
跳到导航
跳到搜索
第45行：
第45行： − 单调性（非负性为引理），对称性，self-identity，可参考：+ − + − P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).+
→冗余信息公理
==== 冗余信息公理 ====
==== 冗余信息公理 ====
单调性（非负性为引理）：定理1.I(S=s；A）是非负的。证明。I（S=s；A）=D（p（ajs）p(a)）≥0其中D是Kullback-Leibler距离，最后一步来自信息不平等([15]，第26页）。引理1.I（S=s；A）在格〈P(R)，≤〉上单调递增。10证明。考虑集合A和B，其中A包含于B且C属于R。令C=B\A=.然后我们有I(S=s;B)−I(S=s;A)=Xbp(b|s)logp(s,b)p(s)p(b)−Xap(a|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,a,c)p(s)p(a,c)−XaX cp(a,c|s)logp(s,a)p(s)p(a)=XaX cp(a,c|s)logp(s,c|p(a)s|a)p(c|a)=Xap(a)Xcp(c|a,s)logp(c|a,ps)(c|a)=Xap(a)D(p(c|a,s)k p(c|a))≥0.定理2。Imin在格〈A(R)，≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q，A(R)满足Q〈且Imin（S；）<Imin（S；Q）。根据公式(3)，必然存在B使得对于某个结果s S和所有AQ，都有I（S=s；B）<I（S=s；A）。因此，根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈，必然存在A Q使得A≤B。
对称性：
self-identity：
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====