5,443
个编辑
更改
→冗余信息计算方法
第一小节W&B的定义：
第一小节W&B的定义：
设A1，A2，...，Ak是R的非空且可能重叠的子集，我们称其为源。如何量化所有源关于S提供的冗余信息？当然，每个信息源Ai提供的信息仅由I（S；Ai）表示，即S与Ai之间的互信息。但需要特别注意的是，互信息本质上是一种平均或期望信息的度量指标，其期望值是基于随机变量结果计算得出的。从形式化表述来看，信息源A所提供的信息可表示为
设A1，A2，...，Ak是R的非空且可能重叠的子集，我们称其为源。如何量化所有源关于S提供的冗余信息？当然，每个信息源Ai提供的信息仅由I（S；Ai）表示，即S与Ai之间的互信息。但需要特别注意的是，互信息本质上是一种平均或期望信息的度量指标，其期望值是基于随机变量结果计算得出的。从形式化表述来看，信息源A所提供的信息可表示为
其中，特定信息I(S = s；A）量化了与S的特定结果s相关的信息为量化S和A之间的不同关系，人们提出了各种特定信息的定义（见附录A），但对于我们来说，最有用的是I(S = s; A) =Xap(a|s)� logp(1
其中，特定信息I(S = s；A）量化了与S的特定结果s相关的信息为量化S和A之间的不同关系，人们提出了各种特定信息的定义（见附录A），但对于我们来说，最有用的是I(S = s; A) =Xap(a|s)logp(1s)− logp(s1|a) (2)术语 1p(s) 被称为s的不确定度，因此I（S = s；A）是已知A的情况下s的平均不确定度减少量。换句话说，I（S = s；A）
量化了A为每个特定结果s∈S提供的信息，而I（S；A）则是这一数量在S的所有结果上的期望值。考虑到这些因素，冗余的自然度量结果提供的最小信息的期望值，或者是任何源为S的每个Imin(S; {A1, A2, . . . , Ak}) =Xsp(s) minAiI(S = s; Ai).(3)伊明提出了冗余的概念，即所有来源共有的信息（任何来源提供的最小信息），同时考虑到来源可能提供关于S的不同结果的信息。与互信息一样，Imin也是特定信息项的期望值。
以下是一些有代表性的定量方法：
以下是一些有代表性的定量方法：