更改

=== 冗余信息的定义 ===

=== 冗余信息的定义 ===

令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\S_i</math>所提供的信息由互信息<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为

令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>S_i</math>所提供的信息由互信息<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为

\begin{equation}

\begin{equation}

I(T;S)=\sum_{t}p(t)\,I(T=t;S)

I(T;S)=\sum_{t}p(t)\,I(T=t;S)