216
个编辑
更改
→互信息与条件互信息
<math>H(S_1,\ldots,S_n\mid T)=H(S_1,\ldots,S_n,T)-H(T).</math>
<math>H(S_1,\ldots,S_n\mid T)=H(S_1,\ldots,S_n,T)-H(T).</math>
==== 互信息与条件互信息 ====
==== [[互信息]]与[[条件互信息]] ====
信源组 <math>\mathbf{X}</math> 与目标变量 <math>T</math> 之间的[[互信息]]定义为：
[[信源组]] <math>\mathbf{X}</math> 与[[目标变量]] <math>T</math> 之间的[[互信息]]定义为：
<math>I(S_1,\ldots,S_n;T)=H(S_1,\ldots,S_n)-H(S_1,\ldots,S_n\mid T).</math>
<math>I(S_1,\ldots,S_n;T)=H(S_1,\ldots,S_n)-H(S_1,\ldots,S_n\mid T).</math>
互信息刻画信源组与目标变量之间的[[统计依赖]]程度；它也可写为[[联合分布]] <math>p(\mathbf{s},t)</math> 与[[边缘分布]]乘积 <math>p(\mathbf{s})p(t)</math> 之间的 [[Kullback-Leibler 散度]]：
<math>I(\mathbf{S};T)=D_{\mathrm{KL}}\!\left(p(\mathbf{S},T)\,\middle\|\,p(\mathbf{S})p(T)\right).</math>
<math>I(\mathbf{S};T)=D_{\mathrm{KL}}\!\left(p(\mathbf{S},T)\,\middle\|\,p(\mathbf{S})p(T)\right).</math>
然而，<math>I(S_1,\ldots,S_n;T)</math> 只能描述信源组整体与目标变量共享的信息量，不能区分这些信息是由不同信源重复提供、还由某一信源独有提供，又或是只有联合观察多个信源时才会获得。PID 正是对这一总互信息作进一步分解，将其表示为[[冗余信息]]、[[特有信息]]和[[协同信息]]等成分的动机。
然而，<math>I(S_1,\ldots,S_n;T)</math> 只能描述信源组整体与目标变量共享的信息量，不能区分这些信息是由不同信源重复提供、还由某一信源独有提供，又或是只有联合观察多个信源时才会获得。PID 正是对这一总互信息作进一步分解，将其表示为[[冗余信息]]、[[特有信息]]和[[协同信息]]等成分的动机。
为进一步考察一个信源在已知其他信源后所增加的信息，可引入[[条件互信息]]。对两个信源 <math>X_1,X_2</math> 与目标变量 <math>T</math>，条件互信息定义为：
为进一步考察一个信源在已知其他信源后所增加的信息，可引入[[条件互信息]]的概念。
这里，我们只介绍后文中“[[两源变量框架]]”小节中涉及的两信源 <math>S_1,S_2</math> 单目标变量 <math>T</math>的条件互信息，其定义为：
<math>
<math>
I(X_1;T\mid X_2)
I(S_1;T\mid S_2)
=H(T\mid X_2)-H(T\mid X_1,X_2).
=H(T\mid S_2)-H(T\mid S_1,S_2).
</math>
</math>
<math>I(X_1;T\mid X_2)</math> 刻画在已经知道 <math>X_2</math> 的条件下，<math>X_1</math> 关于目标变量 <math>T</math> 仍提供的信息量。它能够排除 <math>X_1</math> 与 <math>X_2</math> 重复提供的信息，但仍不能区分 <math>X_1</math> 的特有信息与两个信源共同产生的协同信息。
<math>I(S_1;T\mid S_2)</math> 刻画在已经知道 <math>S_2</math> 的条件下，<math>S_1</math> 关于目标变量 <math>T</math> 仍提供的信息量。它能够排除 <math>S_1</math> 与 <math>S_2</math> 重复提供的信息，但仍不能区分 <math>X_1</math> 的[[特有信息]]与两个信源共同产生的[[协同信息]]。
== [[PID框架]]的形成动机 ==
== [[PID框架]]的形成动机 ==