更改

联合熵 (查看源代码)

2020年11月3日 (二) 15:47的版本

添加571字节、 2020年11月3日 (二) 15:47

第12行：第12行：

==Definition 定义 ==

The joint [[Shannon entropy]] (in [[bit]]s) of two discrete [[random variable|random variables]] <math>X</math> and <math>Y</math> with images <math>\mathcal X</math> and <math>\mathcal Y</math> is defined as<ref name=cover1991>{{cite book |author1=Thomas M. Cover |author2=Joy A. Thomas |title=Elements of Information Theory |publisher=Wiley |location=Hoboken, New Jersey |year= |isbn=0-471-24195-4}}</ref>{{rp|16}}

+

具有像<math>\mathcal X</math>和<math>\mathcal Y</math>的两个离散随机变量<math>X</math>和<math>Y</math>的'''<font color="#ff8000"> 联合香农熵Shannon entropy </font>'''（以比特为单位）定义为：

+

{{Equation box 1

第25行：第27行：

where <math>x</math> and <math>y</math> are particular values of <math>X</math> and <math>Y</math>, respectively, <math>P(x,y)</math> is the [[joint probability]] of these values occurring together, and <math>P(x,y) \log_2[P(x,y)]</math> is defined to be 0 if <math>P(x,y)=0</math>.

+

其中<math>x</math>和<math>y</math>分别是<math>X</math>和<math>Y</math>的特定值，<math>P(x,y)</math>是这些值产生交集时的联合概率，如果<math>P(x,y)=0</math>则<math>P(x,y) \log_2[P(x,y)]</math>定义为0。

+

For more than two random variables <math>X_1, ..., X_n</math> this expands to

+

对于两个以上的随机变量<math>X_1, ..., X_n</math>，它扩展为

+

{{Equation box 1

第37行：第45行：

|border colour = #0073CF

|background colour=#F5FFFA}}

+

where <math>x_1,...,x_n</math> are particular values of <math>X_1,...,X_n</math>, respectively, <math>P(x_1, ..., x_n)</math> is the probability of these values occurring together, and <math>P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)]</math> is defined to be 0 if <math>P(x_1, ..., x_n)=0</math>.

+

其中<math>x_1,...,x_n</math>分别是<math>X_1,...,X_n</math>的特定值，<math>P(x_1, ..., x_n)</math>是这些值产生交集时的概率，如果<math>P(x_1, ..., x_n)=0</math>则<math>P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)]</math>定义为0。

==Properties==

Jie

961

个编辑