7,129
个编辑
更改
跳到导航
跳到搜索
第44行：
第44行： + + 第54行：
第56行： + + 第63行：
第67行： − + + 第74行：
第79行： +
→微分熵的性质
::<math>h(X_1, \ldots, X_n) = \sum_{i=1}^{n} h(X_i|X_1, \ldots, X_{i-1}) \leq \sum_{i=1}^{n} h(X_i)</math>.
::<math>h(X_1, \ldots, X_n) = \sum_{i=1}^{n} h(X_i|X_1, \ldots, X_{i-1}) \leq \sum_{i=1}^{n} h(X_i)</math>.
* 微分熵是平移不变的，即对于常数<math>c</math>存在。<ref name="cover_thomas" />
* 微分熵是平移不变的，即对于常数<math>c</math>存在。<ref name="cover_thomas" />
::<math>h(X+c) = h(X)</math>
::<math>h(X+c) = h(X)</math>
* 在任意可逆映射下，微分熵通常不是不变的。
* 在任意可逆映射下，微分熵通常不是不变的。
:::<math>h(aX) = h(X)+ \log |a|</math>
:::<math>h(aX) = h(X)+ \log |a|</math>
::对于向量值随机变量<math>\mathbf{X}</math>和可逆（平方）矩阵<math>\mathbf{A}</math>
::对于向量值随机变量<math>\mathbf{X}</math>和可逆（平方）矩阵<math>\mathbf{A}</math>
:::<math>h(\mathbf{A}\mathbf{X})=h(\mathbf{X})+\log \left( |\det \mathbf{A}| \right)</math><ref name="cover_thomas" />
:::<math>h(\mathbf{A}\mathbf{X})=h(\mathbf{X})+\log \left( |\det \mathbf{A}| \right)</math><ref name="cover_thomas" />
* 一般地，对于从一个随机向量到另一个具有相同维数的随机向量的变换<math>\mathbf{Y}=m \left(\mathbf{X}\right)</math>，相应的熵通过
* 一般地，对于从一个随机向量到另一个具有相同维数的随机向量的变换<math>\mathbf{Y}=m \left(\mathbf{X}\right)</math>，相应的熵通过
::<math>h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert dx</math>
::<math>h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert dx</math>
:其中<math>\left\vert \frac{\partial m}{\partial x} \right\vert</math>是变换的[[Jacobian矩阵和行列式| Jacobian]]<math>m</math>。<ref>{{cite web |title=proof of upper bound on differential entropy of f(X) |work=Stack Exchange |date=April 16, 2016 |url=https://math.stackexchange.com/q/1745670 }}</ref>如果变换是双射，则上述不等式变为等式。此外，当<math>m</math>是刚性旋转、平移或其组合时，雅可比行列式总是1，并且<math>h(Y)=h(X)</math>。
:其中<math>\left\vert \frac{\partial m}{\partial x} \right\vert</math>是变换的雅可比矩阵<math>m</math>。<ref>{{cite web |title=proof of upper bound on differential entropy of f(X) |work=Stack Exchange |date=April 16, 2016 |url=https://math.stackexchange.com/q/1745670 }}</ref>如果变换是双射，则上述不等式变为等式。此外，当<math>m</math>是刚性旋转、平移或其组合时，雅可比行列式总是1，并且<math>h(Y)=h(X)</math>。
* 如果一个随机向量X具有均值零和协方差矩阵<math>K</math>, <math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math>相等当且仅当<math>X</math>为多元正态分布/联合正态性/联合高斯（见下文#正态分布中的最大化）。<ref name="cover_thomas" />
* 如果一个随机向量X具有均值零和协方差矩阵<math>K</math>, <math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math>相等当且仅当<math>X</math>为多元正态分布/联合正态性/联合高斯（见下文#正态分布中的最大化）。<ref name="cover_thomas" />
解决这些缺点的微分熵的一种改进是“相对信息熵”，也称为[[Kullback–Leibler散度]]，它包括一个不变的测度因子（参见：[[离散点的极限密度]]）。
解决这些缺点的微分熵的一种改进是“相对信息熵”，也称为[[Kullback–Leibler散度]]，它包括一个不变的测度因子（参见：[[离散点的极限密度]]）。
<br>
==正态分布中的最大化==
==正态分布中的最大化==