微分熵 - 版本历史

薄荷：/* 微分熵的性质 */

2021-10-27T12:59:46Z

微分熵的性质

2021年10月27日 (三) 12:56 薄荷

2021-10-27T12:56:07Z

薄荷：/* 证明 */

2021-10-27T12:45:40Z

证明

薄荷：/* 正态分布中的最大化 */

2021-10-27T12:44:22Z

正态分布中的最大化

薄荷：/* 与估计器误差的关系 */

2021-10-27T12:43:23Z

与估计器误差的关系

2021年10月27日 (三) 12:42 薄荷

2021-10-27T12:42:04Z

薄荷：/* = */

2021-10-27T12:41:05Z

薄荷：/* 编者推荐 */

2021-10-27T12:40:53Z

编者推荐

2021年10月27日 (三) 12:35 薄荷

2021-10-27T12:35:56Z

显示更改

2021年2月24日 (三) 05:41 Henry

2021-02-24T05:41:56Z

@@ 第44行： / 第44行： @@
 ::<math>h(X_1, \ldots, X_n) = \sum_{i=1}^{n} h(X_i|X_1, \ldots, X_{i-1}) \leq \sum_{i=1}^{n} h(X_i)</math>.
 * 微分熵是平移不变的，即对于常数<math>c</math>存在。<ref name="cover_thomas" />
 ::<math>h(X+c) = h(X)</math>
 * 在任意可逆映射下，微分熵通常不是不变的。
@@ 第54行： / 第56行： @@
 :::<math>h(aX) = h(X)+ \log |a|</math>
 ::对于向量值随机变量<math>\mathbf{X}</math>和可逆（平方）矩阵<math>\mathbf{A}</math>
 :::<math>h(\mathbf{A}\mathbf{X})=h(\mathbf{X})+\log \left( |\det \mathbf{A}| \right)</math><ref name="cover_thomas" />
 * 一般地，对于从一个随机向量到另一个具有相同维数的随机向量的变换<math>\mathbf{Y}=m \left(\mathbf{X}\right)</math>，相应的熵通过
@@ 第63行： / 第67行： @@
 ::<math>h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert dx</math>
-:其中<math>\left\vert \frac{\partial m}{\partial x} \right\vert</math>是变换的[[Jacobian矩阵和行列式| Jacobian]]<math>m</math>。<ref>{{cite web |title=proof of upper bound on differential entropy of f(X) |work=Stack Exchange |date=April 16, 2016 |url=https://math.stackexchange.com/q/1745670 }}</ref>如果变换是双射，则上述不等式变为等式。此外，当<math>m</math>是刚性旋转、平移或其组合时，雅可比行列式总是1，并且<math>h(Y)=h(X)</math>。
 * 如果一个随机向量X具有均值零和协方差矩阵<math>K</math>, <math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math>相等当且仅当<math>X</math>为多元正态分布/联合正态性/联合高斯（见下文#正态分布中的最大化）。<ref name="cover_thomas" />
@@ 第74行： / 第79行： @@
 解决这些缺点的微分熵的一种改进是“相对信息熵”，也称为[[Kullback–Leibler散度]]，它包括一个不变的测度因子（参见：[[离散点的极限密度]]）。
 ==正态分布中的最大化==

@@ 第4行： / 第4行： @@
 }}
-'''微分熵 Differential entropy'''（也被称为'''连续熵 continuous entropy'''）是信息论中的一个概念，其来源于香农尝试将他的香农熵的概念扩展到连续的概率分布。香农熵是衡量一个随机变量的平均惊异程度的指标。可惜的是，香农只是假设它是离散熵的正确连续模拟而并没有推导出公式，但事实上它并不是离散熵的正确连续模拟。<ref>{{cite journal |author=Jaynes, E.T. |authorlink=Edwin Thompson Jaynes |title=Information Theory And Statistical Mechanics |journal=Brandeis University Summer Institute Lectures in Theoretical Physics |volume=3 |issue=sect. 4b |year=1963 |url=http://bayes.wustl.edu/etj/articles/brandeis.pdf |format=PDF}}</ref>离散熵的实际连续版本是离散点的极限密度 limiting density of discrete points（LDDP）。微分熵（此处描述）在文献中很常见，但它是 LDDP 的一个极限情况，并且失去了与离散熵的基本联系。
+'''微分熵 Differential entropy'''（也被称为'''连续熵 continuous entropy'''）是信息论中的一个概念，其来源于香农尝试将他的香农熵的概念扩展到连续的概率分布。香农熵是衡量一个随机变量的平均惊异程度的指标。可惜的是，香农只是假设它是离散熵的正确连续模拟而并没有推导出公式，但事实上它并不是离散熵的正确连续模拟。<ref>{{cite journal |author=Jaynes, E.T. |title=Information Theory And Statistical Mechanics |journal=Brandeis University Summer Institute Lectures in Theoretical Physics |volume=3 |issue=sect. 4b |year=1963 |url=http://bayes.wustl.edu/etj/articles/brandeis.pdf |format=PDF}}</ref>离散熵的实际连续版本是离散点的极限密度 limiting density of discrete points（LDDP）。微分熵（此处描述）在文献中很常见，但它是 LDDP 的一个极限情况，并且失去了与离散熵的基本联系。
 ==定义==
 设随机变量<math>X</math>，其概率密度函数<math>f</math>的的定义域是<math>\mathcal X</math>的集合。该微分熵 <math>h(X)</math> 或者<math>h(f)</math>定义为
@@ 第17行： / 第15行： @@
-对于没有显式密度函数表达式，但有显式分位数函数表达式的概率分布，<math>Q(p)</math>，则<math>h(Q)</math>可以用导数<math>Q(p)</math>来定义，即分位数密度函数<math>Q'(p)</math><ref>{{Citation |last1=Vasicek  |first1=Oldrich |year=1976 |title=A Test for Normality Based on Sample Entropy |journal=[[Journal of the Royal Statistical Society, Series B]] |volume=38 |issue=1 |jstor=2984828 |postscript=. }}</ref>
+对于没有显式密度函数表达式，但有显式分位数函数表达式的概率分布，<math>Q(p)</math>，则<math>h(Q)</math>可以用导数<math>Q(p)</math>来定义，即分位数密度函数<math>Q'(p)</math><ref>{{Citation |last1=Vasicek  |first1=Oldrich |year=1976 |title=A Test for Normality Based on Sample Entropy |journal=Journal of the Royal Statistical Society, Series B |volume=38 |issue=1 |jstor=2984828 |postscript=. }}</ref>
 :<math>h(Q) = \int_0^1 \log Q'(p)\,dp</math>.
-与离散模型一样，微分熵的单位取决于对数的底数，通常是2（单位：比特；请参阅对数单位，了解不同基数的对数。）相关概念，如[[联合熵]]、[[条件微分熵]]和[[相对熵]]，以类似的方式定义。与离散模型不同，微分熵的偏移量取决于测量单位。<ref name="gibbs">{{cite book |last=Gibbs |first=Josiah Willard |authorlink=Josiah Willard Gibbs |title=[[Elementary Principles in Statistical Mechanics|Elementary Principles in Statistical Mechanics, developed with especial reference to the rational foundation of thermodynamics]] |year=1902 |publisher=Charles Scribner's Sons |location=New York}}</ref>例如，以毫米为单位的量的微分熵将比以米为单位测量的相同量的微分熵大 log(1000)；无量纲量的log(1000)微分熵将大于相同量除以1000。
+与离散模型一样，微分熵的单位取决于对数的底数，通常是2（单位：比特；请参阅对数单位，了解不同基数的对数。）相关概念，如[[联合熵]]、[[条件微分熵]]和[[相对熵]]，以类似的方式定义。与离散模型不同，微分熵的偏移量取决于测量单位。<ref name="gibbs">{{cite book |last=Gibbs |first=Josiah Willard |title=[[Elementary Principles in Statistical Mechanics|Elementary Principles in Statistical Mechanics, developed with especial reference to the rational foundation of thermodynamics]] |year=1902 |publisher=Charles Scribner's Sons |location=New York}}</ref>例如，以毫米为单位的量的微分熵将比以米为单位测量的相同量的微分熵大 log(1000)；无量纲量的log(1000)微分熵将大于相同量除以1000。
@@ 第65行： / 第63行： @@
 ::<math>h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert dx</math>
-:其中<math>\left\vert \frac{\partial m}{\partial x} \right\vert</math>是变换的[[Jacobian矩阵和行列式| Jacobian]]<math>m</math>。<ref>{{cite web |title=proof of upper bound on differential entropy of f(X) |work=[[Stack Exchange]] |date=April 16, 2016 |url=https://math.stackexchange.com/q/1745670 }}</ref>如果变换是双射，则上述不等式变为等式。此外，当<math>m</math>是刚性旋转、平移或其组合时，雅可比行列式总是1，并且<math>h(Y)=h(X)</math>。
+:其中<math>\left\vert \frac{\partial m}{\partial x} \right\vert</math>是变换的[[Jacobian矩阵和行列式| Jacobian]]<math>m</math>。<ref>{{cite web |title=proof of upper bound on differential entropy of f(X) |work=Stack Exchange |date=April 16, 2016 |url=https://math.stackexchange.com/q/1745670 }}</ref>如果变换是双射，则上述不等式变为等式。此外，当<math>m</math>是刚性旋转、平移或其组合时，雅可比行列式总是1，并且<math>h(Y)=h(X)</math>。
-* 如果一个随机向量X具有均值零和协方差矩阵<math>K</math>, <math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math>相等当且仅当<math>X</math>为多元正态分布/联合正态性/联合高斯（见下文[[#正态分布中的最大化]）。<ref name="cover_thomas" />
+* 如果一个随机向量X具有均值零和协方差矩阵<math>K</math>, <math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math>相等当且仅当<math>X</math>为多元正态分布/联合正态性/联合高斯（见下文#正态分布中的最大化）。<ref name="cover_thomas" />
 然而，微分熵没有其他理想的特性：
@@ 第114行： / 第112行： @@
 :<math>L=\int_{-\infty}^\infty g(x)\ln(g(x))\,dx-\lambda_0\left(1-\int_{-\infty}^\infty g(x)\,dx\right)-\lambda\left(\sigma^2-\int_{-\infty}^\infty g(x)(x-\mu)^2\,dx\right)</math>
 其中''g(x)''是平均μ的函数。当''g(x)''的熵为最大值时，由归一化条件<math>\ left（1=\int{-\infty}^\infty g（x）\，dx\ right）</math>和固定方差<math>\left(\sigma^2=\int_{-\infty}^\infty g(x)(x-\mu)^2\,dx\right)</math>组成的约束方程均满足，然后，关于''g(x)''的微小变化δ''g''(''x'')将产生关于''L''的变化δ''L''，其等于零：
@@ 第128行： / 第127行： @@
 :<math>g(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}</math>
 ==例子：指数分布==
@@ 第133行： / 第133行： @@
 :<math>f(x) = \lambda e^{-\lambda x} \mbox{ for } x \geq 0.</math>
 它的微分熵是
@@ 第226行： / 第227行： @@
 ==变体==
-如上所述，微分熵不具有离散熵的所有性质。例如，微分熵可以是负的；在连续坐标变换下也不是不变的。Edwin Thompson Jaynes事实上证明了上面的表达式不是有限概率的表达式的正确限制。<ref>{{cite journal |author=Jaynes, E.T. |author-link=Edwin Thompson Jaynes |title=Information Theory And Statistical Mechanics |journal=Brandeis University Summer Institute Lectures in Theoretical Physics |volume=3 |issue=sect. 4b |year=1963 |url=http://bayes.wustl.edu/etj/articles/brandeis.pdf }}</ref>
+如上所述，微分熵不具有离散熵的所有性质。例如，微分熵可以是负的；在连续坐标变换下也不是不变的。Edwin Thompson Jaynes事实上证明了上面的表达式不是有限概率的表达式的正确限制。<ref>{{cite journal |author=Jaynes, E.T. |title=Information Theory And Statistical Mechanics |journal=Brandeis University Summer Institute Lectures in Theoretical Physics |volume=3 |issue=sect. 4b |year=1963 |url=http://bayes.wustl.edu/etj/articles/brandeis.pdf }}</ref>

@@ 第102行： / 第102行： @@
 \end{align}</math>
 因为结果不依赖于<math>f(x)</math>而不是通过方差。将这两个结果结合起来就得到了
@@ 第119行： / 第108行： @@
 当<math>f(x)=g(x)</math>遵循Kullback-Leibler散度的性质时相等。
 ===替代证明===

@@ 第102行： / 第102行： @@
 \end{align}</math>
---[[用户:CecileLi|CecileLi]]([[用户讨论:CecileLi|讨论]])  【审校】补充翻译：
+:<math>0\leq D{KL}（f{g）=\int{-\infty}^\infty f（x）\log\left（\frac{f（x）}{g（x）}\right）dx=-h（f）-\int{-\infty}^\infty f（x）\log（g（x））dx。</math>
 现在请注意
@@ 第142行： / 第140行： @@
 :<math>g(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}</math>
 ==例子：指数分布==

@@ 第169行： / 第169行： @@
 ==与估计器误差的关系==
-微分熵给出了[[估计量]]的期望平方误差的下界。对于任何随机变量<math>X</math>和估计器<math>\widehat{X}</math>来说，以下条件成立：<ref name=“cover\u thomas”/>
+微分熵给出了[[估计量]]的期望平方误差的下界。对于任何随机变量<math>X</math>和估计器<math>\widehat{X}</math>来说，以下条件成立：<ref name="cover_thomas" />
 :<math>\operatorname{E}[(X - \widehat{X})^2] \ge \frac{1}{2\pi e}e^{2h(X)}</math>
@@ 第176行： / 第176行： @@
 当且仅当<math>X</math>是高斯随机变量，<math>\widehat{X}</math>是<math>X</math>的平均值。
 ==各种分布的微分熵==

@@ 第1行： / 第1行： @@
 {{#seo:
 |keywords=连续熵,微分熵,信息论
@@ 第284行： / 第282行： @@
 [[Category:熵和信息]]
 [[Category:信息论]]
 [[Category:统计的随机性]]

←上一版本		2021年10月27日 (三) 12:41的版本
第283行：		第283行：
	<br/>		<br/>

−	~~===~~

←上一版本		2021年10月27日 (三) 12:40的版本
第263行：		第263行：

	==编者推荐==		==编者推荐==
		+	[[File:熵增.gif\|thumb\|right\|400px\|[https://baijiahao.baidu.com/s?id=1638841205928147461&wfr=spider&for=pc 最令人绝望物理定律“熵增原理”：生命以负熵为食，最终走向消亡]]]
		+	===集智课程===
		+	====[https://blog.csdn.net/am290333566/article/details/81187124?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158662476119724846431926%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=158662476119724846431926&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_so_first_rank_v2_rank_v25-12 信息熵及其相关概念]====
		+	信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。
		+
		+
		+	====[https://baijiahao.baidu.com/s?id=1638841205928147461&wfr=spider&for=pc 最令人绝望物理定律“熵增原理”：生命以负熵为食，最终走向消亡]====
		+	熵被认为一种悲观主义的世界观，而熵增定律也被认为是令全宇宙都绝望的定律。该文章介绍了其令人绝望的原因。
		+
		+
		+
		+	===集智文章推荐===
		+	* [https://swarma.org/?p=21423 计算美学前沿速递：用信息论“重新发现”风景画艺术史]
		+	* [https://swarma.org/?p=20253 Science前沿：用信息论解释动植物间的军备竞赛]
		+	* [https://swarma.org/?p=12129 城市熵的秘密：你的诗和远方，都有人在负重前行]
		+	* [https://swarma.org/?p=365 用绵羊解释熵——从冰块融化到时间箭头之谜]
		+	* [https://swarma.org/?p=15338 热力学如何解释进化论：最大化熵产生原理驱动下的自然选择]
		+
		+	<br/>
		+
	===		===

@@ 第12行： / 第12行： @@
-==Definition==
+==Definition定义==
-定义
 Let <math>X</math> be a random variable with a [[probability density function]] <math>f</math> whose [[support (mathematics)|support]] is a set <math>\mathcal X</math>. The ''differential entropy'' <math>h(X)</math> or <math>h(f)</math> is defined as<ref name="cover_thomas">{{cite book|first1=Thomas M.|first2=Joy A.|last1=Cover|last2=Thomas|isbn=0-471-06259-6|title=Elements of Information Theory|year=1991|publisher=Wiley|location=New York|url=https://archive.org/details/elementsofinform0000cove|url-access=registration}}</ref>
 <math>h(X+c) = h(X)</math>