3,094
个编辑
更改
跳到导航
跳到搜索
第17行：
第17行： − +
→信息论基础
== [[信息论]]基础 ==
== [[信息论]]基础 ==
部分信息分解（Partial Information Decomposition，PID）研究多个信源如何共同提供关于目标变量的信息。设 <math>X_1,\ldots,X_n</math> 为 <math>n</math> 个信源，<math>Y</math> 为目标变量，并记信源组为 <math>\mathbf{X}=(X_1,\ldots,X_n)</math>。PID 所分解的对象是信源组与目标变量之间的[[互信息]]。
部分信息分解（Partial Information Decomposition，PID）研究多个信源如何共同提供关于目标变量的信息。设 <math>X_1,\ldots,X_n</math> 为 <math>n</math> 个信源，<math>Y</math> 为目标变量，并记信源组为 <math>\mathbf{X}=(X_1,\ldots,X_n)</math>。PID 所分解的对象是信源组与目标变量之间的[[互信息]]，而互信息的定义是基于多变量[[联合信息熵]]以及[[条件熵]]的，因此，我们有必要对这些量化指标做一一介绍。
对于取值集合为 <math>\{x_1,\ldots,x_m\}</math> 的离散随机变量 <math>X</math>，记 <math>p_i=P(X=x_i)</math>。其[[信息熵]]定义为:
对于取值集合为 <math>\{x_1,\ldots,x_m\}</math> 的离散随机变量 <math>X</math>，记 <math>p_i=P(X=x_i)</math>。其[[信息熵]]定义为: