235
个编辑
更改
→应用案例
=应用案例=
=应用案例=
AND
AND（逻辑与）
表 1. AND 例子的联合概率及选定熵的对应值。
X Y S p
0 0 0 $\frac{1}{4}$
0 1 0 $\frac{1}{4}$
1 0 0 $\frac{1}{4}$
1 1 1 $\frac{1}{4}$
$$\begin{aligned}
H(S) &= 2 \log 2 - \frac{3}{4} \log 3 \\
H(S, X) &= \frac{3}{2} \log 2 \\
H(S, X, Y) &= 2 \log 2 \\
MI(S : X) &= \frac{3}{2} \log 2 - \frac{3}{4} \log 3 \\
MI(S : X | Y) &= \frac{1}{2} \log 2
\end{aligned}$$
$$\begin{aligned}
H(S) &= 2 \log 2 - \frac{3}{4} \log 3 \\
H(S, X) &= \frac{3}{2} \log 2 \\
H(S, X, Y) &= 2 \log 2 \\
MI(S : X) &= \frac{3}{2} \log 2 - \frac{3}{4} \log 3 \\
MI(S : X | Y) &= \frac{1}{2} \log 2
\end{aligned}$$
设 $X$ 和 $Y$ 为独立的二元随机变量，满足 $p(0) = p(1) = \frac{1}{2}$，且 $S = X \text{ AND } Y$。由于对 $(S, X)$ 和 $(S, Y)$ 的边缘分布是相同的（由对称性可知），在这个例子中没有唯一信息 [8]（推论 8），因此，根据公式 (5)，
$$\widetilde{CI}(S : X; Y) = MI(S : X | Y) = \frac{1}{2} \log 2 = 0.5 \text{ bit}$$
在这个例子中，共信息（co-information）为：
$$\begin{aligned}
CoI(S; X; Y) &= SI(S : X; Y) - CI(S : X; Y) \quad (10) \\
&= MI(S : X) - MI(S : X | Y) \\
&= \log 2 - \frac{3}{4} \log 3 \approx -0.1887 \text{ bit}
\end{aligned}$$
因此，共享信息（shared information）为 $\widetilde{SI}(S : X; Y) = \frac{3}{2} \log 2 - \frac{3}{4} \log 3 \approx 0.3113 \text{ bit}$，WMS 协同作用（synergy）为 $S_{WMS}(S : X; Y) \approx 0.1887 \text{ bit}$。另一方面，在 AND 情况下，联合概率分布 $p(s, x, y)$ 已经完全由边缘分布 $p(x, y)$, $p(s, y)$ 和 $p(s, x)$ 确定；也就是说，$\Delta_p^{(2)} = \{p\}$（参见例如 [10]）。因此，
$$S^{(2)}(S : X; Y) = 0$$
——————————————————
CI(S : X; Y)
CI(S : X; Y)