175
个编辑
更改
→冗余信息的定义
=== 冗余信息的定义 ===
=== 冗余信息的定义 ===
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\S_i</math>所提供的信息由互信息<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\S_i</math>所提供的信息由互信息<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
\begin{equation}
\begin{equation}
\end{equation}
\end{equation}
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>T</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>T</math>的不同结果提供信息。
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>T</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>T</math>的不同结果提供信息。
注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节第二段
===冗余函数/交集信息的若干公理化性质===
===冗余函数/交集信息的若干公理化性质===
根据上述定义可以得到如下关于冗余信息的性质：
根据上述定义可以得到如下关于冗余信息的性质：