条件熵 - 版本历史

薄荷：/* 另见 */

2022-01-20T13:33:28Z

另见

薄荷：/* References 参考文献 */

2022-01-20T13:33:17Z

References 参考文献

薄荷：/* 另见 */

2022-01-20T13:32:59Z

另见

薄荷：/* 其他 */

2022-01-20T13:32:31Z

其他

薄荷：/* 编者推荐 */

2022-01-20T13:32:15Z

编者推荐

薄荷：/* 编者推荐 */

2022-01-20T13:30:37Z

编者推荐

是趣木木呀：/* References 参考文献 */

2022-01-06T09:24:22Z

References 参考文献

薄荷：/* 定义 */

2021-01-17T15:59:45Z

定义

2021年1月17日 (日) 15:58 薄荷

2021-01-17T15:58:20Z

2021年1月17日 (日) 15:53 薄荷

2021-01-17T15:53:54Z

@@ 第210行： / 第210行： @@
 * [[熵幂不等式 Entropy power inequality]]
 * [[似然函数 Likelihood function]]
 ==参考文献 ==

@@ 第211行： / 第211行： @@
 * [[似然函数 Likelihood function]]
-== References 参考文献 ==
+==参考文献 ==
 {{Reflist}}
 == 编者推荐 ==

@@ 第204行： / 第204行： @@
 == 另见 ==
-* [[熵（信息论） Entropy (information theory)]]
+* [[熵]]
-* [[互信息 Mutual information]]
+* [[互信息]]
 * [[条件量子熵 Conditional quantum entropy]]
 * [[信息差异 Variation of information]]
 * [[熵幂不等式 Entropy power inequality]]
 * [[似然函数 Likelihood function]]
 == References 参考文献 ==

@@ 第227行： / 第227行： @@
 ===其他===
 *[https://swarma.org/?p=26180 信息视角下的生命是什么：横跨生命和非生命集群系统的信息化架构]
-*[https://blog.csdn.net/am290333566/article/details/81187124?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158662476119724846431926%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=158662476119724846431926&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_so_first_rank_v2_rank_v25-12 信息熵及其相关概念]信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。
+*[https://blog.csdn.net/am290333566/article/details/81187124?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158662476119724846431926%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=158662476119724846431926&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_so_first_rank_v2_rank_v25-12 信息熵及其相关概念]:信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。

@@ 第226行： / 第226行： @@
 ===其他===
-*[https://blog.csdn.net/am290333566/article/details/81187124?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158662476119724846431926%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=158662476119724846431926&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_so_first_rank_v2_rank_v25-12 信息熵及其相关概念]
+*[https://swarma.org/?p=26180 信息视角下的生命是什么：横跨生命和非生命集群系统的信息化架构]
-信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。
+*[https://blog.csdn.net/am290333566/article/details/81187124?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158662476119724846431926%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=158662476119724846431926&biz_id=0&utm_source=distribute.pc_search_result.none-task-blog-soetl_so_first_rank_v2_rank_v25-12 信息熵及其相关概念]信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。

@@ 第216行： / 第216行： @@
 == 编者推荐 ==
-集智学园
+===集智课程===
 ----
 本中文词条由[[用户:Jie|Jie]]翻译，[[用户:Lincent|Lincent]]审校，[[用户:薄荷|薄荷]]欢迎在讨论页面留言。

@@ 第51行： / 第51行： @@
-给定具有像<math>\mathcal X</math>的离散随机变量<math>X</math>和具有像<math>\mathcal Y</math>的离散随机变量<math>Y</math>，将给定<math>X</math>的<math>Y</math>的条件熵定义为以<math>p(x)</math>作为权重，对<math>x</math>的每个可能取值得到的<math>H(Y|X=x)</math>的加权和。其表达式如下：<ref name=cover1991>{{cite book|isbn=0-471-06259-6|year=1991|authorlink1=Thomas M. Cover|author1=T. Cover|author2=J. Thomas|title=Elements of Information Theory|url=https://archive.org/details/elementsofinform0000cove|url-access=registration}}</ref>{{rp|15}}
+给定具有像<math>\mathcal X</math>的离散随机变量<math>X</math>和具有像<math>\mathcal Y</math>的离散随机变量<math>Y</math>，将给定<math>X</math>的<math>Y</math>的条件熵定义为以<math>p(x)</math>作为权重，对<math>x</math>的每个可能取值得到的<math>H(Y|X=x)</math>的加权和。其表达式如下：<ref name="cover1991">{{cite book|isbn=0-471-06259-6|year=1991|authorlink1=Thomas M. Cover|author1=T. Cover|author2=J. Thomas|title=Elements of Information Theory|url=https://archive.org/details/elementsofinform0000cove|url-access=registration}}</ref>{{rp|15}}
@@ 第215行： / 第215行： @@
 {{Reflist}}
 ----
 本中文词条由[[用户:Jie|Jie]]翻译，[[用户:Lincent|Lincent]]审校，[[用户:薄荷|薄荷]]欢迎在讨论页面留言。

←上一版本		2021年1月17日 (日) 15:59的版本
第27行：		第27行：


−	'''注意'''：约定<math>c > 0</math>始终成立时，表达式<math>0 \log 0</math>和<math>0 \log c/0</math>视为等于零。这是因为<math>\lim_{\theta\to0^+} \theta\, \log \,c/\theta = 0</math>，而且<math>\lim_{\theta\to0^+} \theta\, \log \theta = 0</math>><ref>{{Cite web\|url=http://www.inference.org.uk/mackay/itprnn/book.html\|title=David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book\|website=www.inference.org.uk\|access-date=2019-10-25}}</ref> ~~<!-- because p(x,y) could still equal 0 even if p(x) != 0 and p(y) != 0. What about p(x,y)=p(x)=0? -->~~	+	'''注意'''：约定<math>c > 0</math>始终成立时，表达式<math>0 \log 0</math>和<math>0 \log c/0</math>视为等于零。这是因为<math>\lim_{\theta\to0^+} \theta\, \log \,c/\theta = 0</math>，而且<math>\lim_{\theta\to0^+} \theta\, \log \theta = 0</math><ref>{{Cite web\|url=http://www.inference.org.uk/mackay/itprnn/book.html\|title=David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book\|website=www.inference.org.uk\|access-date=2019-10-25}}</ref>
−
−
−	对该定义的直观解释是：根据定义<math>\displaystyle H( Y\|X) =\mathbb{E}( \ f( X,Y) \ )</math>，其中<math>\displaystyle f:( x,y) \ \rightarrow -\log( \ p( y\|x) \ ) </math>. <math>\displaystyle f</math>将给定<math>\displaystyle (X=x)</math>时的<math>\displaystyle ( Y=y)</math>的信息内容与<math>\displaystyle ( x,y)</math>相关联，这是描述在给定<math>(X=x)</math>条件下的事件<math>\displaystyle (Y=y)</math>所需的信息量。根据大数定律，<math>H（Y ǀ X）</math>是大量<math>\displaystyle f(X,Y)</math>独立实验结果的算术平均值。


		+	对该定义的直观解释是：根据定义<math>\displaystyle H( Y\|X) =\mathbb{E}( \ f( X,Y) \ )</math>，其中<math>\displaystyle f:( x,y) \ \rightarrow -\log( \ p( y\|x) \ ) </math>。 <math>\displaystyle f</math>将给定<math>\displaystyle (X=x)</math>时的<math>\displaystyle ( Y=y)</math>的信息内容与<math>\displaystyle ( x,y)</math>相关联，这是描述在给定<math>(X=x)</math>条件下的事件<math>\displaystyle (Y=y)</math>所需的信息量。根据大数定律，<math>H（Y ǀ X）</math>是大量<math>\displaystyle f(X,Y)</math>独立实验结果的算术平均值。

	== 动机 ==		== 动机 ==

@@ 第1行： / 第1行： @@
-此词条由Jie翻译。由Lincent审校。
+{{#seo:
+|keywords=熵,信息量，链式法则
 [[文件:Entropy-mutual-information-relative-entropy-relation-diagram.svg|缩略图|右|该图表示在变量X、Y相关联的各种信息量之间，进行加减关系的维恩图。两个圆所包含的区域是联合熵H(X,Y)。左侧的圆圈（红色和紫色）是单个熵H（X），红色是条件熵H（X ǀ Y）。右侧的圆圈（蓝色和紫色）为H（Y），蓝色为H（Y ǀ X）。中间紫色的是相互信息i（X; Y）。]]
 在[[信息论 Information theory]]中，假设随机变量<math>X</math>的值已知，那么'''条件熵 Conditional entropy'''则用于定量描述随机变量<math>Y</math>表示的信息量。此时，信息以'''香农 Shannon'''，'''<font color="#ff8000">奈特 nat</font>'''或'''<font color="#ff8000">哈特莱 hartley</font>'''来衡量。已知<math>X</math>的条件下<math>Y</math>的熵记为<math>H（X ǀ Y）</math>。
@@ 第215行： / 第216行： @@
 == References 参考文献 ==
 {{Reflist}}
 [[Category:熵和信息]]
 [[Category:信息理论]]

←上一版本		2021年1月17日 (日) 15:53的版本
第4行：		第4行：


−	在[[信息论 Information theory]]中，假设随机变量<math>X</math>的值已知，那么'''条件熵 Conditional entropy'''则用于定量描述随机变量<math>Y</math>~~表示的信息量。此时，信息以香农~~ Shannon'''，'''<font color="#ff8000">奈特 nat</font>'''或'''<font color="#ff8000">哈特莱 hartley</font>'''来衡量。已知<math>X</math>的条件下<math>Y</math>的熵记为<math>H（X ǀ Y）</math>。	+	在[[信息论 Information theory]]中，假设随机变量<math>X</math>的值已知，那么'''条件熵 Conditional entropy'''则用于定量描述随机变量<math>Y</math>表示的信息量。此时，信息以'''香农 Shannon'''，'''<font color="#ff8000">奈特 nat</font>'''或'''<font color="#ff8000">哈特莱 hartley</font>'''来衡量。已知<math>X</math>的条件下<math>Y</math>的熵记为<math>H（X ǀ Y）</math>。