216
个编辑
更改
跳到导航
跳到搜索
第49行：
第49行： − + + + + + + + + + +
→信息论基础
<math>I(S_1,\ldots,S_n;T)=H(S_1,\ldots,S_n)-H(S_1,\ldots,S_n\mid T).</math>
<math>I(S_1,\ldots,S_n;T)=H(S_1,\ldots,S_n)-H(S_1,\ldots,S_n\mid T).</math>
互信息刻画信源组与目标变量之间的统计依赖程度；它也可写为联合分布 <math>p(\mathbf{S},T)</math> 与[[边缘分布]]乘积 <math>p(\mathbf{S})p(T)</math> 之间的 [[Kullback-Leibler 散度]]：
互信息刻画信源组与目标变量之间的统计依赖程度；它也可写为联合分布 <math>p(\mathbf{s},t)</math> 与[[边缘分布]]乘积 <math>p(\mathbf{s})p(t)</math> 之间的 [[Kullback-Leibler 散度]]：
<math>I(\mathbf{S};T)=D_{\mathrm{KL}}\!\left(p(\mathbf{S},T)\,\middle\|\,p(\mathbf{S})p(T)\right).</math>
<math>I(\mathbf{S};T)=D_{\mathrm{KL}}\!\left(p(\mathbf{S},T)\,\middle\|\,p(\mathbf{S})p(T)\right).</math>
然而，<math>I(S_1,\ldots,S_n;T)</math> 只能描述信源组整体与目标变量共享的信息量，不能区分这些信息是由不同信源重复提供、还由某一信源独有提供，又或是只有联合观察多个信源时才会获得。PID 正是对这一总互信息作进一步分解，将其表示为[[冗余信息]]、[[特有信息]]和[[协同信息]]等成分的动机。
然而，<math>I(S_1,\ldots,S_n;T)</math> 只能描述信源组整体与目标变量共享的信息量，不能区分这些信息是由不同信源重复提供、还由某一信源独有提供，又或是只有联合观察多个信源时才会获得。PID 正是对这一总互信息作进一步分解，将其表示为[[冗余信息]]、[[特有信息]]和[[协同信息]]等成分的动机。
为进一步考察一个信源在已知其他信源后所增加的信息，可引入[[条件互信息]]。对两个信源 <math>X_1,X_2</math> 与目标变量 <math>T</math>，条件互信息定义为：
<math>
I(X_1;T\mid X_2)
=H(T\mid X_2)-H(T\mid X_1,X_2).
</math>
<math>I(X_1;T\mid X_2)</math> 刻画在已经知道 <math>X_2</math> 的条件下，<math>X_1</math> 关于目标变量 <math>T</math> 仍提供的信息量。它能够排除 <math>X_1</math> 与 <math>X_2</math> 重复提供的信息，但仍不能区分 <math>X_1</math> 的特有信息与两个信源共同产生的协同信息。
== [[PID框架]]的形成动机 ==
== [[PID框架]]的形成动机 ==