联合熵 - 版本历史

2021年8月15日 (日) 11:15 不是海绵宝宝

2021-08-15T11:15:27Z

2021-08-15T11:15:04Z

2021-08-15T11:14:46Z

2021-08-15T11:14:08Z

定义

2021-08-15T11:13:58Z

2021-08-15T11:13:28Z

与其他熵测度的关系

2021-08-15T11:13:11Z

编者推荐

2021-08-15T11:13:03Z

编者推荐

2021-08-15T11:12:53Z

编者推荐

2021-08-15T11:12:20Z

编者推荐

@@ 第1行： / 第1行： @@
 {{#seo:
-|keywords=熵和信息、熵
+|keywords=熵和信息、熵、联合熵
 |description=熵和信息
 }}

@@ 第1行： / 第1行： @@
 {{#seo:
-|keywords=熵和信息
+|keywords=熵和信息、熵
 |description=熵和信息
 }}

←上一版本		2021年8月15日 (日) 11:14的版本
第1行：		第1行：
		+	{{#seo:
		+	\|keywords=熵和信息
		+	\|description=熵和信息
		+	}}
	[[文件:Entropy-mutual-information-relative-entropy-relation-diagram.svg\|缩略图\|右\|该图表示在变量X、Y相关联的各种信息量之间，进行加减关系的维恩图。两个圆重合的区域是联合熵H(X,Y)。左侧的圆（红色和紫色）是单个熵H（X），红色是条件熵H（X ǀ Y）。右侧的圆（蓝色和紫色）为H（Y），蓝色为H（Y ǀ X）。中间紫色的是相互信息i（X; Y）。]]		[[文件:Entropy-mutual-information-relative-entropy-relation-diagram.svg\|缩略图\|右\|该图表示在变量X、Y相关联的各种信息量之间，进行加减关系的维恩图。两个圆重合的区域是联合熵H(X,Y)。左侧的圆（红色和紫色）是单个熵H（X），红色是条件熵H（X ǀ Y）。右侧的圆（蓝色和紫色）为H（Y），蓝色为H（Y ǀ X）。中间紫色的是相互信息i（X; Y）。]]

@@ 第4行： / 第4行： @@
 ==定义 ==
-'''联合熵Shannon entropy '''的定义是：以比特为单位，对于具有<math>\mathcal X</math>和<math>\mathcal Y</math>的两个离散随机变量函数<math>X</math>和<math>Y</math>'''有<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |year= |isbn=0-471-24195-4}}</ref>
+'''联合熵 '''的定义是：以比特为单位，对于具有<math>\mathcal X</math>和<math>\mathcal Y</math>的两个离散随机变量函数<math>X</math>和<math>Y</math>'''有<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |year= |isbn=0-471-24195-4}}</ref>
 {{Equation box 1

@@ 第1行： / 第1行： @@
 [[文件:Entropy-mutual-information-relative-entropy-relation-diagram.svg|缩略图|右|该图表示在变量X、Y相关联的各种信息量之间，进行加减关系的维恩图。两个圆重合的区域是联合熵H(X,Y)。左侧的圆（红色和紫色）是单个熵H（X），红色是条件熵H（X ǀ Y）。右侧的圆（蓝色和紫色）为H（Y），蓝色为H（Y ǀ X）。中间紫色的是相互信息i（X; Y）。]]
-在'''<font bold="#ff8000"> 信息论Information theory</font>'''中，'''<font color="#ff8000"> 联合熵Joint entropy</font>'''是用于对与一组变量相关的不确定性进行度量。<ref name=korn>{{cite book |author1=Theresa M. Korn |author2=Korn, Granino Arthur |title=Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review |publisher=Dover Publications |location=New York |year= |isbn=0-486-41147-8 |oclc= |doi=}}</ref>
+在'''信息论'''中，''' 联合熵'''是用于对与一组变量相关的不确定性进行度量。<ref name=korn>{{cite book |author1=Theresa M. Korn |author2=Korn, Granino Arthur |title=Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review |publisher=Dover Publications |location=New York |year= |isbn=0-486-41147-8 |oclc= |doi=}}</ref>
 ==定义 ==

←上一版本		2021年8月15日 (日) 11:13的版本
第73行：		第73行：

	:<math>\operatorname{I}(X;Y) = H(X) + H(Y) - H(X,Y)\,</math>		:<math>\operatorname{I}(X;Y) = H(X) + H(Y) - H(X,Y)\,</math>
−
−	~~In [[quantum information theory]], the joint entropy is generalized into the [[joint quantum entropy]].~~

	在'''量子信息论'''中，使用的是广义化的联合熵，即'''联合量子熵'''。		在'''量子信息论'''中，使用的是广义化的联合熵，即'''联合量子熵'''。

@@ 第136行： / 第136行： @@
 ==编者推荐==
-[[File:熵和信息.png|200px|thumb|]]
+[[File:熵和信息.png|300px|thumb|]]
 ===集智课程===
 ====[https://campus.swarma.org/course/308 信息熵和编码]====

@@ 第140行： / 第140行： @@
 ====[https://campus.swarma.org/course/308 信息熵和编码]====
 本课程对常见的编码方法进行了解析，对编码的特点与性质，以及编码的相关证明方法进行了说明。
-====[https://campus.swarma.org/course/3155 ]====
+====[https://campus.swarma.org/course/3155 熵]====
 在本课程中，程帆老师讲解了熵的简史及定义，介绍了相对熵，相关熵，条件熵以及链式法则