175
个编辑
更改
跳到导航
跳到搜索
第452行：
第452行： − \begin{definition}[双源系统中的独特信息]+ − \end{definition}+ − \end{definition}+ − \end{definition} − 此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从（10）中给出等价形式，如下所示，其证明在附录B中给出。 − \begin{lemma}+ − + − \end{lemma}+ − −
→冗余信息计算方法
公式（10）直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 \( (S_1, T) \) 和 \( (S_2, T) \)），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
公式（10）直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 \( (S_1, T) \) 和 \( (S_2, T) \)），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
从 \( S_1 \) 到 \( T \) 给定 \( S_2 \) 的独特信息为
从 \( S_1 \) 到 \( T \) 给定 \( S_2 \) 的独特信息为
\[
\[
\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).
\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).
\]
\]
从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的冗余信息为
从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的冗余信息为
\[
\[
\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).
\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).
\]
\]
从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的协同信息定义为
从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的协同信息定义为
\[
\[
\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).
\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).
\]
\]
此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从（10）中给出等价形式，如下所示。
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。 V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).
R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).