175
个编辑
更改
跳到导航
跳到搜索
第349行：
第349行： − +
→冗余信息公理
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
\ge 0,</math>
\ge 0,</math>
其中 <math>D</math>为 Kullback-Leibler 距离，最后一步由信息不等式得出。
其中 <math>D</math>为 Kullback-Leibler 散度，最后一步由信息不等式得出。
上界性：
上界性：
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。