175
个编辑
更改
→冗余信息及互信息公理
根据上述定义可以得到如下关于冗余信息的性质：
根据上述定义可以得到如下关于冗余信息的性质：
非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})=D(p(\mathbf{a}|s)||p(\mathbf{a}))ge 0
非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})=D(p(\mathbf{a}|s)||p(\mathbf{a}))\ge 0
\</math>
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。