175
个编辑
更改
跳到导航
跳到搜索
第117行：
第117行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第349行：
第380行： − − === 信息原子计算 === − − ==== 冗余信息公理 ==== − 单调性（非负性为引理）： − <math>I(S=s;\mathbf{A}) </math>是非负的。 − 证明： − <math>I(S=s;\mathbf{A}) − =D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) − \ge 0,</math> − 其中 <math>D</math>为 Kullback-Leibler 散度，最后一步由信息不等式得出。 − 上界性： − 对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。 − 自冗余性: − 根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。gu 第396行：
第412行： + + + + + + + + + + + + + + + + + + + 第403行：
第438行： − 令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为 − \begin{equation} − I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}), − \end{equation} − 其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息。下面需要给出其定义： − \begin{equation} − I(S=s;\mathbf{A})= − \sum_{\mathbf{a}}p(\mathbf{a}|s) − \left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right]. − \end{equation} − 项<math>1/p(s)</math>称为<math>s</math>的不确定度（surprise），项<math>log1/p(s)</math>即<math>s</math>的香农熵。因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以s为条件下a发生的概率为权重的<math>s</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>s</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，那显然可以用这两个取值对<math>s</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(S=s;\mathbf{A})</math>）。总之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即 − \begin{equation} − I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\}) − =\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}). − \end{equation} − <math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
无编辑摘要
== 部分信息分解（PID）框架 ==
== 部分信息分解（PID）框架 ==
=== 冗余信息的定义 ===
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为
\begin{equation}
I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),
\end{equation}
其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息。下面需要给出其定义：
\begin{equation}
I(S=s;\mathbf{A})=
\sum_{\mathbf{a}}p(\mathbf{a}|s)
\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].
\end{equation}
项<math>1/p(s)</math>称为<math>s</math>的不确定度（surprise），项<math>log1/p(s)</math>即<math>s</math>的香农熵。因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以s为条件下a发生的概率为权重的<math>s</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>s</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，那显然可以用这两个取值对<math>s</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(S=s;\mathbf{A})</math>）。总之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即
\begin{equation}
I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).
\end{equation}
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
==== 冗余信息公理 ====
根据上述定义可以得到如下关于冗余信息的性质：
非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})
=\sum_{\mathbf{a}}p(\mathbf{a}|s)
\left[\log\frac{1}{p(s)}-\log\frac{1 {p(s|\mathbf{a})}\right]=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
上界性：
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。
自冗余性:
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。
=== 两源变量框架与部分信息原子 ===
=== 两源变量框架与部分信息原子 ===
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====
区域 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> 表示的是：一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在冗余；区域 <math>\{12\}\{13\}\{23\}</math> 表示的是：三个两两协同的信息之间存在冗余。
区域 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> 表示的是：一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在冗余；区域 <math>\{12\}\{13\}\{23\}</math> 表示的是：三个两两协同的信息之间存在冗余。
==== 其余信息原子计算两个例子 ====
为了更具体地理解这些概念，我们来看图 4A 中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：
\[
I(S;R_1) = I(S;R_2) = \frac{1}{3} \log 3 - \frac{2}{3} \log \frac{2}{3}
\]
但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于\textbf{不同结果}的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以\textbf{完全确定}结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。
这一特征被 PI 分解准确地捕捉到了：
\begin{itemize}
\item <math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的\textbf{独有信息}；
\item 冗余信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从 3 个减少到 2 个；
\item 协同信息为 <math>\Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> \textbf{联合起来}可以唯一确定 <math>S=0</math> 是否发生，而单独任意一个都无法做到这一点。
\end{itemize}
需要注意的是，与互信息或交互信息不同，\textbf{部分信息是不对称的}。例如，<math>R_1</math> 和 <math>R_2</math> 关于 <math>S</math> 的协同信息，通常\textbf{不等于} <math>S</math> 和 <math>R_2</math> 关于 <math>R_1</math> 的协同信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>S</math> 的值，就可以唯一确定 <math>R_1</math> 和 <math>R_2</math> 的结果，因此\textbf{不可能}存在 <math>S</math> 和 <math>R_2</math> 联合提供关于 <math>R_1</math> 的协同信息，因为 <math>R_1</math> 的不确定性已经被 <math>S </math>完全消除了。
相反，如前所述，<math>R_1</math> 和 <math>R_2</math> 却提供了关于 <math>S</math> 的协同信息。这种不对称性也解释了为什么我们始终聚焦于\textbf{关于某个特定变量 <math>S</math> 的信息}，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。
== 冗余信息计算方法 ==
== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：
此处的计算是指不同的冗余信息定义：
第一小节W&B的定义：
第一小节W&B的定义：
以下是一些有代表性的定量方法：
以下是一些有代表性的定量方法：