463
个编辑
更改
→定义 Definition
设 <math>(X,Y)</math> 是一对值超过空间 math mathcal { x } times mathcal { y } / math 的随机变量。如果它们的联合分布是数学 p {(x，y)} / math，边际分布是数学 p x / math 和数学 p y / math，则互信息定义为
设 <math>(X,Y)</math> 是一对值超过空间 math mathcal { x } times mathcal { y } / math 的随机变量。如果它们的联合分布是数学 p {(x，y)} / math，边际分布是数学 p x / math 和数学 p y / math，则互信息定义为
设一对随机变量<math>(X,Y)</math>，参数空间为<math>\mathcal{X}\times\mathcal{Y}</math>。若它们之间的的联合概率分布为<math>P_{(X,Y)}</math>，边际分布为<math>P_X</math>和<math>P_Y</math>，则它们之间的互信息定义为：
注意，根据 Kullback-Leibler 散度的性质，当联合分布与边际乘积重合时，math i (x; y) / math 恰好等于零，即。当数学 x / 数学和数学 y / 数学是独立的(因此观察数学 y / 数学并不能告诉你数学 x / 数学)。在一般的数学 i (x; y) / math 是非负的，它是一种测量方法，用于将 math (x，y) / math 作为一对独立的随机变量进行编码，而实际上它们并不是。
注意，根据 Kullback-Leibler 散度的性质，当联合分布与边际乘积重合时，math i (x; y) / math 恰好等于零，即。当数学 x / 数学和数学 y / 数学是独立的(因此观察数学 y / 数学并不能告诉你数学 x / 数学)。在一般的数学 i (x; y) / math 是非负的，它是一种测量方法，用于将 math (x，y) / math 作为一对独立的随机变量进行编码，而实际上它们并不是。
== 关于离散分布的PMF In terms of PMFs for discrete distributions ==
== 关于离散分布的PMF In terms of PMFs for discrete distributions ==