470
个编辑
更改
小第889行：
第889行： + + + + + + + + + + + + + + + + + + +
附录信息论公式
=== 信息论公式 ===
=== 信息论公式 ===
下面的公式证明在开发中很有用。他们是相对直观的，给我们解释性，并且他们可以用比单纯代数多一点的东西去证明；参阅文献【62】。下面，f是一个函数。
下面的公式证明在开发中很有用。他们是相对直观的，给我们解释性，并且他们可以用比单纯代数多一点的东西去证明；参阅文献【62】。下面，f是一个函数。
<math>
\begin{aligned}
H[X,Y] &= H[X] + H[Y \vert X] \ (A1) \\
H[X,Y] &\ge H[X] \ (A2) \\
H[X,Y] &\le H[X] + H[Y] \ (A3) \\
H[X \vert Y] &\le H[X] \ (A4) \\
H[X \vert Y] &= H[X] \ iff \ X 和Y无关 \ (A5) \\
H[X, Y \vert Z] &= H[X \vert Z] + H[Y \vert X, Z] \ (A6) \\
H[X, Y \vert Z] &\ge H[X \vert Z] \ (A7) \\
H[X] - H[X \vert Y] &= H[Y] - H[Y \vert X] \ (A8) \\
I[X;Y] &\le H[X] \ (A9) \\
I[X;Y] &= H[X] \ iff \ H[X \vert Y] = 0 \ (A10) \\
H[f(X)] &\le H[X] \ (A11) \\
H[X \vert Y] &= 0 \ iff \ X = f(Y) \ (A12) \\
H[f(X) \vert Y] &\le H[X \vert Y] \ (A13) \\
H[X \vert f(Y)] &\ge H[X \vert Y] \ (A14)
\end{aligned}
</math>
等式（A1）和（A6）被称作熵的链式法则。严格来说，等式（A12）右手边应该读作“对每个<math>y, P(X = x \vert Y = y) > 0</math>对一个，仅一个x”。
等式（A1）和（A6）被称作熵的链式法则。严格来说，等式（A12）右手边应该读作“对每个<math>y, P(X = x \vert Y = y) > 0</math>对一个，仅一个x”。