更改

部分信息分解 (查看源代码)

2026年6月26日 (五) 15:06的版本

添加16字节、 2026年6月26日 (星期五)

→‎冗余信息的定义

第140行：第140行：

\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]

\end{equation}

−

项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>\s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值的期望，即

+

项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值的期望，即

\begin{equation}

I_{\min}(T;\{S_1,S_2,\dots ,S_n\})

第146行：第146行：

\end{equation}

<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>T</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>T</math>的不同结果提供信息。

−

==== ~~冗余信息及互信息公理~~ ====

+

====冗余函数/交集信息的若干公理化性质====

根据上述定义可以得到如下关于冗余信息的性质：

王盛嘉

175

个编辑