更改

部分信息分解 (查看源代码)

2026年7月2日 (四) 16:42的版本

添加1,554字节、 2026年7月2日 (星期四)

→‎冗余信息计算方法

第500行：第500行：

以下是一些有代表性的定量方法：

首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。

−

===Griffith ~~等：基于共同随机变量的交集信息~~===

+

===Griffith 基于共同随机变量的交集信息===

−

Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="~~Griffith~~">{{cite journal|author1=V. ~~Griffith~~|author2=E. K. ~~Chong~~|author3=R. G. ~~James~~|author4=C. J. ~~Ellison~~|author5=J. P. ~~Crutchfield~~|title=Intersection information based on common randomness|journal=Entropy|year=~~2024~~|volume=16|~~page~~=~~1985~~}}</ref>，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。

+

Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。

共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个源变量 <math>X_1,\dots,X_n</math>的函数:

第525行：第525行：

===Lyu–Clark–Raviv 显式两源 PID 公式===

−

~~论文主要目标是给出满足~~ Williams–Beer公理及后续性质的两源部分信息分解的显式公式，而不是任意多源部分信息分解的完整封闭形式冗余晶格解。为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：

+

Lyu 等（2024）<ref name="Lyu_do_PID">{{cite conference|author1=Lyu A.|author2=Clark A.|author3=Raviv N.|title=Explicit formula for partial information decomposition|booktitle=2024 IEEE International Symposium on Information Theory (ISIT)|publisher=IEEE|year=2024|pages=2329–2334|url=https://doi.org/10.1109/ISIT57864.2024.10619369}}</ref>受 Pearl do-calculus 启发引入 do-operation（固定某边际的同时最小化对其他条件分布的扰动），首次给出满足 Williams–Beer公理及后续性质的两源部分信息分解的显式公式，而不是任意多源部分信息分解的完整封闭形式冗余晶格解。为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：

<math>

第559行：第559行：

此外，除了使用特有信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。冗余信息可以另写为<math> \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)</math>。协同信息可以另写为 <math>\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)</math>。

−

===~~kolchinsky~~===

+

===Kolchinsky 多元 PID 通用框架===

−

~~作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量~~ <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为互信息<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：

+

Kolchinsky （2022）<ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>基于 Blackwell 序与集合论交/并类比给出多元 PID 通用框架，实例化后得到具操作意义的 PID 度量。作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为互信息<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：

<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>

第571行：第571行：

因此，联合信息<math> I_{\cup} </math>是任何比所有源都“更有信息量”的随机变量中关于 <math>Y </math>的最小信息量。注意 <math>I_{\cap}</math> 和 <math>I_{\cup} </math>依赖于排序关系的选择，而作者认为不同的应用领域有不同的排序定义。

−

===Barrett===

+

===Barrett 高斯型PID===

−

设 <math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为:

+

Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察协同与冗余信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。设<math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为:

<math>\Sigma(X\mid Y)=:\Sigma(X)-\Sigma(X, Y)\Sigma(Y)^{-1}\Sigma(Y, X).</math>

第608行：第608行：

===其他方法===

−

James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余晶格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点特有性、冗余性和协同性，得到点对点特有、冗余和协同信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：唯一信息定义为可以获得的最小条件相互信息，同时保持输入-输出边际固定。

+

James 等（2018）通过依赖约束（dependency constraints）定义特有信息 I_dep替代定义冗余信息，要求 unique 分量在边际独立性约束下最大化，给出与 I_∧ 不同的另一条路线。finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余晶格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点特有性、冗余性和协同性，得到点对点特有、冗余和协同信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：唯一信息定义为可以获得的最小条件相互信息，同时保持输入-输出边际固定。

===不同方法的比较===

−

我们将几种 PID 度量方式进行比较：Lyu–Clark–Raviv 的 <math> I_{\cap}^{\text{Exp}} </math>；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math>，由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math>，由 Barrett ~~提出的“最小互信息”~~ <math>I_{\cap}^{\text{MMI}}</math>，由 Griffith 等人提出的<math> I_{\cap}^{\~~triangle~~}</math>，由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math>，由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math>，由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math>，由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math>，以及由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math>。

+

我们将几种 PID 度量方式进行比较：Lyu–Clark–Raviv 的 <math> I_{\cap}^{\text{Exp}} </math>；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math>，由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math>，由 Barrett 提出的 <math>I_{\cap}^{\text{MMI}}</math>，由 Griffith 等人提出的<math> I_{\cap}^{\∧}</math>，由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math>，由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math>，由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math>，由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math>，以及由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math>。

{| class="wikitable"

|-

王盛嘉

175

个编辑