7,129
个编辑
更改
→互信息(转移信息)
===互信息(转移信息)===
===互信息(转移信息)===
'''<font color="#ff8000">互信息 Mutual Information</font>'''度量的是某个随机变量在通过观察另一个随机变量时可以获得的信息量。在通信中可以用它来最大化发送和接收信号之间共享的信息量，这一点至关重要。{{math|''X''}}相对于{{math|''Y''}}的互信息由以下公式给出:
'''<font color="#ff8000">互信息 Mutual Information</font>'''度量的是某个随机变量在通过观察另一个随机变量时可以获得的信息量。在通信中可以用它来最大化发送和接收信号之间共享的信息量，这一点至关重要。{{math|''X''}}相对于{{math|''Y''}}的互信息由以下公式给出：
:<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
:<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
也就是说，在编码''X''的过程中，知道''Y''比不知道''Y''平均节省{{math|''I''(''X''; ''Y'')}}比特。
也就是说，在编码''X''的过程中，知道''Y''比不知道''Y''平均节省{{math|''I''(''X''; ''Y'')}}比特。
互信息是对称的：
: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y)\,</math>
: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y)\,</math>
互信息可以表示为在给定''Y''值的情况下''X''的后验分布，以及''X''的先验概率分布之间的平均 Kullback-Leibler 散度(信息增益) :
互信息可以表示为在给定''Y''值的情况下''X''的后验分布，以及''X''的先验概率分布之间的平均 Kullback-Leibler 散度（信息增益）：
: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )]</math>
: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )]</math>