更改

===Aobo===

===Aobo===

为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 \( S_1, S_2 \) 和目标变量 \( T \) 的系统，其相应的字母表分别为 \( \mathcal{S}_1, \mathcal{S}_2 \) 和 \( \mathcal{T} \)，我们定义一个新的随机变量 \( S_1' \) 在 \( \mathcal{S}_1 \) 上，通过其条件联合分布如下：

为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math>  S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：

 

\operatorname{Pr}(S_1' = s_1, S_2 = s_2 | T = t) \triangleq \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t).

\operatorname{Pr}(S_1' = s_1, S_2 = s_2 | T = t) \triangleq \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t).</math>

这意味着，对于每一个 \( s_1 \in \mathcal{S}_1 \)，

 

这意味着，对于每一个<math>  s_1 \in \mathcal{S}_1 </math>，

\operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t).

\operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t).</math>

变量 \( S_1' \) 是良定义的，因为所有概率都是非负的，并且可以很容易地证明：

变量 <math> S_1' </math>是良定义的，因为所有概率都是非负的，并且可以很容易地证明：

\sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1.

\sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1.

\]

上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math>\( (S_1, T) \) </math>和 <math>\( (S_2, T) \)</math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。

公式（10）直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 \( (S_1, T) \) 和 \( (S_2, T) \)），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。

从 <math> S_1 </math>到 <math>T</math>给定<math> S_2</math>的独特信息为

<math>\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).</math>

\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).

从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的协同信息定义为

从<math> S_1 </math>和 <math>S_2 </math>到 <math>T </math>的冗余信息为

<math>\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).</math>

\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).

冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。                                                                                                      

此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。冗余信息可以另写为<math> \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)</math>。协同信息可以另写为 <math>\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)</math>。

===kolchinsky===

===kolchinsky===