更改

部分信息分解 (查看源代码)

2026年6月26日 (五) 23:00的版本

添加362字节、 2026年6月26日 (星期五)

→‎冗余信息计算方法

第498行：第498行：

以下是一些有代表性的定量方法：

首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。

−

=== Griffith===

+

===Griffith 等：基于共同随机变量的交集信息===

−

~~原论文构建冗余晶格的方式，给定随机变量~~ <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。

+

Griffith 等基于 Gács–Körner common random variable 提出交集信息，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。

共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个预测变量 <math>X_1,\dots,X_n</math>的函数:

第522行：第522行：

</math>

−

===~~Aobo~~===

+

===Lyu–Clark–Raviv 显式两源 PID 公式===

−

~~为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量~~ <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：

+

论文主要目标是给出满足 Williams–Beer公理及后续性质的两源部分信息分解的显式公式，而不是任意多源部分信息分解的完整封闭形式冗余晶格解。为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：

<math>

第609行：第609行：

===不同方法的比较===

−

我们将几种 PID ~~度量方式进行比较：~~

+

我们将几种 PID 度量方式进行比较：Lyu–Clark–Raviv 的 <math> I_{\cap}^{\text{Exp}} </math>；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math>，由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math>，由 Barrett 提出的“最小互信息” <math>I_{\cap}^{\text{MMI}}</math>，由 Griffith 等人提出的<math> I_{\cap}^{\triangle}</math>，由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math>，由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math>，由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math>，由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math>，以及由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math>。

−

~~由Aobo提出的方法~~<math> I_{\cap}^{\text{Exp}} </math>；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math>，由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math>，由 Barrett 提出的“最小互信息” <math>I_{\cap}^{\text{MMI}}</math>，由 Griffith 等人提出的<math> I_{\cap}^{\triangle}</math>，由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math>，由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math>，由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math>，由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math>，以及由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math>。

{| class="wikitable"

|-

−

| <math>各方法的定性比较</math> || <math>I_{\cap}^{*}</math> || <math>I_{\cap}^{\text{WB}}</math> ||<math>I_{\cap}^{\text{MMI}}</math>||<math>I_{\cap}^{\~~text{MMI}~~}</math>||<math>I_{\cap}^{\text{Ince}}</math>||<math>I_{\cap}^{\text{FL}}</math>||<math>I_{\cap}^{\text{BROJA}}</math>||<math>I_{\cap}^{\text{Harder}}</math>||<math>I_{\cap}^{\text{dep}}</math>||<math>I_{\cap}^{\text{Exp}}</math>

+

| <math>各方法的定性比较</math> || <math>I_{\cap}^{*}</math> || <math>I_{\cap}^{\text{WB}}</math> ||<math>I_{\cap}^{\text{MMI}}</math>||<math>I_{\cap}^{\triangle}</math>||<math>I_{\cap}^{\text{Ince}}</math>||<math>I_{\cap}^{\text{FL}}</math>||<math>I_{\cap}^{\text{BROJA}}</math>||<math>I_{\cap}^{\text{Harder}}</math>||<math>I_{\cap}^{\text{dep}}</math>||<math>I_{\cap}^{\text{Exp}}</math>

|-

| <math>三个及以上源变量</math> || <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>|| || || ||仅对协同和特有信息

王盛嘉

175

个编辑