216
个编辑
更改
→冗余信息计算方法
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
===Griffith 基于共同随机变量的交集信息===
===Griffith 基于共同随机变量的交集信息===
Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建[[冗余晶格]]的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
共同随机变量的[[熵]]即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，研究者们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个源变量 <math>X_1,\dots,X_n</math>的函数:
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
===Kolchinsky 多元 PID 通用框架===
===Kolchinsky 多元 PID 通用框架===
Kolchinsky （2022）<ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>基于 Blackwell 序与集合论交/并类比给出多元 PID 通用框架，实例化后得到具操作意义的 PID 度量。作者认为只定义[[冗余]]信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为[[互信息]]<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：
Kolchinsky （2022）<ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>基于 Blackwell 序与集合论交/并类比给出多元 PID 通用框架，实例化后得到具操作意义的 PID 度量。作者认为只定义[[冗余]]信息不能通过包含排除原理推导出剩下的[[部分信息原子]]，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为[[互信息]]<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：
<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>
<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>
因此，联合信息<math> I_{\cup} </math>是任何比所有源都“更有信息量”的随机变量中关于 <math>Y </math>的最小信息量。注意 <math>I_{\cap}</math> 和 <math>I_{\cup} </math>依赖于排序关系的选择，而作者认为不同的应用领域有不同的排序定义。
因此，联合信息<math> I_{\cup} </math>是任何比所有源都“更有信息量”的随机变量中关于 <math>Y </math>的最小信息量。注意 <math>I_{\cap}</math> 和 <math>I_{\cup} </math>依赖于排序关系的选择，而作者认为不同的应用领域有不同的排序定义。
===Barrett 高斯型PID===
===Barrett [[高斯型PID]]===
Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察[[协同]]与[[冗余]]信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。下面分两部分介绍，先介绍高斯变量的信息量公式作为背景知识：
Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察[[协同]]与[[冗余]]信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。下面分两部分介绍，先介绍高斯变量的信息量公式作为背景知识：
====高斯变量的信息量公式====
====高斯变量的信息量公式====
条件熵 <math>H(X|Y) </math>是给定 <math>Y</math> 时 <math>X</math> 的期望熵，即，<math>H(X\mid Y)=:\int H(X\mid Y=y) P_{Y}(y) d^n y.</math>
条件熵 <math>H(X|Y) </math>是给定 <math>Y</math> 时 <math>X</math> 的期望熵，即，<math>H(X\mid Y)=:\int H(X\mid Y=y) P_{Y}(y) d^n y.</math>
互信息 <math>I(X;Y) </math>是 <math>X</math>和 <math>Y</math>之间的平均信息，或知道 <math>Y</math> 的结果后关于 <math>X</math> 的不确定性的减少（熵）：<math>I(X; Y)=H(X)-H(X\mid Y).</math>
互信息 <math>I(X;Y) </math>是 <math>X</math>和 <math>Y</math>之间的平均信息，或知道 <math>Y</math> 的结果后关于 <math>X</math> 的不确定性的减少（[[熵]]）：<math>I(X; Y)=H(X)-H(X\mid Y).</math>
互信息也可以写成[[联合熵形]]式：<math>I(X; Y)=H(X)+H(Y)-H(X, Y)</math>
从这个式子可以得出，[[互信息]]在 <math>X</math>和 <math>Y</math> 中是对称的。两个源 <math>Y</math> 和 <math>Z</math> 与目标 <math>X</math> 之间的联合互信息满足链式法则：<math>I(X; Y, Z)=I(X; Y\mid Z)+I(X; Z)</math>
对于高斯变量 <math>X</math>，<math>H(X)=\frac{1}{2}\log[\operatorname{det}\Sigma(X)]+\frac{1}{2} m\log(2\pi e)</math>
对于高斯变量 <math>X</math>，<math>H(X)=\frac{1}{2}\log[\operatorname{det}\Sigma(X)]+\frac{1}{2} m\log(2\pi e)</math>
对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。
对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。
====Barrett 的 MMI PID 结论====
====Barrett 的 MMI PID 结论====
尽管先前提出的各种PID的一般定义相当不同，但可以注意到，对于所有这些PID方案，[[冗余]]和[[特有]]信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的PID，使得[[冗余]]和[[特有]]信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个PID，[[冗余]]信息由下式给出
<math>R_{MMI}(X; Y, Z)=:\min{I(X; Y), I(X; Z)}.</math>
<math>R_{MMI}(X; Y, Z)=:\min{I(X; Y), I(X; Z)}.</math>
其他量（[[协同]]信息、[[特有]]信息）则类似Williams（2010）中的公式（见前述）得出，将提供较少关于目标信息的源分配为零[[特有]]信息，[[协同]]信息则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的PID为[[最小互信息]]（MMI）PID。由此可知，一类此前提出的PID定义在Barrett考察的高斯条件下退化为MMI PID。
===其他方法===
===其他方法===
James 等（2018）<ref name="James_depcon">{{cite journal|author1=James R. G.|author2=Emenheiser J.|author3=Crutchfield J. P.|title=Unique information via dependency constraints|journal=Journal of Physics A: Mathematical and Theoretical|year=2018|volume=52|issue=1|page=014002|url=https://doi.org/10.1088/1751-8121/aae492}}</ref>将定义冗余信息改为通过依赖约束（dependency constraints）定义特有信息<math>I_{\cap}^{\text{dep}}</math>，要求特有信息分量在边际独立性约束下最大化，给出与<math>I_{\cap}^{∧}</math>不同的另一条路线。Finn等（2018）<ref name="Finn_spec_ambig">{{cite journal|author1=Finn C.|author2=Lizier J. T.|title=Pointwise partial information decomposition using the specificity and ambiguity lattices|journal=Entropy|year=2018|volume=20|issue=4|page=297|url=https://doi.org/10.3390/e20040297}}</ref>将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余晶格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点特有性、冗余性和协同性，得到点对点特有、冗余和协同信息。Ince（2017）<ref name="Ince_CCT">{{cite journal|author1=Ince R. A.|title=Measuring multivariate redundant information with pointwise common change in surprisal|journal=Entropy|year=2017|volume=19|issue=7|page=318|url=https://doi.org/10.3390/e19070318}}</ref>基于点对点共同变化不确定度度量冗余信息。Bertschinger等（2014）<ref name="Bertschinger_unique">{{cite journal|author1=Bertschinger N.|author2=Rauh J.|author3=Olbrich E.|author4=Jost J.|author5=Ay N.|title=Quantifying unique information|journal=Entropy|year=2014|volume=16|issue=4|pages=2161–2180|url=https://doi.org/10.3390/e16042161}}</ref>从博弈论/决策论视角定义<math>I_{\cap}^{∧}</math>，通过"能否在不知另一源前提下做出同样决策"来区分特有信息与冗余信息。
James 等（2018）<ref name="James_depcon">{{cite journal|author1=James R. G.|author2=Emenheiser J.|author3=Crutchfield J. P.|title=Unique information via dependency constraints|journal=Journal of Physics A: Mathematical and Theoretical|year=2018|volume=52|issue=1|page=014002|url=https://doi.org/10.1088/1751-8121/aae492}}</ref>将定义[[冗余]]信息改为通过依赖约束（dependency constraints）定义[[特有]]信息<math>I_{\cap}^{\text{dep}}</math>，要求特有信息分量在边际独立性约束下最大化，给出与<math>I_{\cap}^{∧}</math>不同的另一条路线。Finn等（2018）<ref name="Finn_spec_ambig">{{cite journal|author1=Finn C.|author2=Lizier J. T.|title=Pointwise partial information decomposition using the specificity and ambiguity lattices|journal=Entropy|year=2018|volume=20|issue=4|page=297|url=https://doi.org/10.3390/e20040297}}</ref>将点对点[[互信息]]拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，[[冗余晶格]]拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点特有性、冗余性和协同性，得到点对点特有、冗余和协同信息。Ince（2017）<ref name="Ince_CCT">{{cite journal|author1=Ince R. A.|title=Measuring multivariate redundant information with pointwise common change in surprisal|journal=Entropy|year=2017|volume=19|issue=7|page=318|url=https://doi.org/10.3390/e19070318}}</ref>基于点对点共同变化不确定度度量[[冗余]]信息。Bertschinger等（2014）<ref name="Bertschinger_unique">{{cite journal|author1=Bertschinger N.|author2=Rauh J.|author3=Olbrich E.|author4=Jost J.|author5=Ay N.|title=Quantifying unique information|journal=Entropy|year=2014|volume=16|issue=4|pages=2161–2180|url=https://doi.org/10.3390/e16042161}}</ref>从博弈论/决策论视角定义<math>I_{\cap}^{∧}</math>，通过"能否在不知另一源前提下做出同样决策"来区分特有信息与冗余信息。
===不同方法的比较===
===不同方法的比较===
我们将几种 PID 度量方式进行比较<ref name="Lyu_do_PID" />：Lyu–Clark–Raviv 的 <math> I_{\cap}^{\text{Exp}} </math><ref name="Lyu_do_PID" />；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math><ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>；由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math><ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>；由 Barrett 提出的 <math>I_{\cap}^{\text{MMI}}</math><ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>；由 Griffith 等人提出的<math> I_{\cap}^{∧}</math><ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>；由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math><ref name="Ince_CCT">{{cite journal|author1=Ince R. A.|title=Measuring multivariate redundant information with pointwise common change in surprisal|journal=Entropy|year=2017|volume=19|issue=7|page=318|url=https://doi.org/10.3390/e19070318}}</ref>；由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math><ref name="Finn_spec_ambig">{{cite journal|author1=Finn C.|author2=Lizier J. T.|title=Pointwise partial information decomposition using the specificity and ambiguity lattices|journal=Entropy|year=2018|volume=20|issue=4|page=297|url=https://doi.org/10.3390/e20040297}}</ref>；由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math><ref name="Bertschinger_unique">{{cite journal|author1=Bertschinger N.|author2=Rauh J.|author3=Olbrich E.|author4=Jost J.|author5=Ay N.|title=Quantifying unique information|journal=Entropy|year=2014|volume=16|issue=4|pages=2161–2180|url=https://doi.org/10.3390/e16042161}}</ref>；由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math><ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>；由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math><ref name="James_depcon">{{cite journal|author1=James R. G.|author2=Emenheiser J.|author3=Crutchfield J. P.|title=Unique information via dependency constraints|journal=Journal of Physics A: Mathematical and Theoretical|year=2018|volume=52|issue=1|page=014002|url=https://doi.org/10.1088/1751-8121/aae492}}</ref>。
我们将几种 PID 度量方式进行比较<ref name="Lyu_do_PID" />：Lyu–Clark–Raviv 的 <math> I_{\cap}^{\text{Exp}} </math><ref name="Lyu_do_PID" />；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math><ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>；由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math><ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>；由 Barrett 提出的 <math>I_{\cap}^{\text{MMI}}</math><ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>；由 Griffith 等人提出的<math> I_{\cap}^{∧}</math><ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>；由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math><ref name="Ince_CCT">{{cite journal|author1=Ince R. A.|title=Measuring multivariate redundant information with pointwise common change in surprisal|journal=Entropy|year=2017|volume=19|issue=7|page=318|url=https://doi.org/10.3390/e19070318}}</ref>；由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math><ref name="Finn_spec_ambig">{{cite journal|author1=Finn C.|author2=Lizier J. T.|title=Pointwise partial information decomposition using the specificity and ambiguity lattices|journal=Entropy|year=2018|volume=20|issue=4|page=297|url=https://doi.org/10.3390/e20040297}}</ref>；由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math><ref name="Bertschinger_unique">{{cite journal|author1=Bertschinger N.|author2=Rauh J.|author3=Olbrich E.|author4=Jost J.|author5=Ay N.|title=Quantifying unique information|journal=Entropy|year=2014|volume=16|issue=4|pages=2161–2180|url=https://doi.org/10.3390/e16042161}}</ref>；由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math><ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>；由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math><ref name="James_depcon">{{cite journal|author1=James R. G.|author2=Emenheiser J.|author3=Crutchfield J. P.|title=Unique information via dependency constraints|journal=Journal of Physics A: Mathematical and Theoretical|year=2018|volume=52|issue=1|page=014002|url=https://doi.org/10.1088/1751-8121/aae492}}</ref>。
== PID框架的局限 ==
== PID框架的局限 ==
=== PID框架在理论层面的局限 ===
=== [[部分信息分解|PID框架]]在理论层面的局限 ===
PID框架在理论层面的局限主要集中在,PID的[[冗余]]信息的公理化方案约束出的信息原子形式不唯一以及三源以上反链格PID的表示结构可能存在更根本的不一致上。
前文已指出,存在多重冗余信息原子的公理化方案，相应地，也存在着不同形式的冗余信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案，另一方面，三源以上情形中基于反链格PID的表示结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
前文已指出,存在多重[[冗余]]信息原子的公理化方案，相应地，也存在着不同形式的[[冗余]]信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的[[冗余函数]]的方案，另一方面，三源以上情形中由反链格表示的PID结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》一文中尝试对PID框架的理论问题进行梳理与回答。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》一文中尝试对PID框架的理论问题进行梳理与回答。
=== PID框架在应用层面的局限 ===
Lyu、Clark 与 Raviv等研究者认为,基于[[冗余晶格]]结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在[[部分信息分解|PID框架]]中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整的反链格原子分解，而直接定义多源[[独特]]、(K)-阶 [[协同]]、总[[协同]]（total synergy） 等可解释量。
PID 框架的在实际应用中的核心问题集中在冗余晶格中的信息原子带来的计算可行性问题上，具体地说，是由多元情况下冗余晶格中的信息原子数目过大带来的计算困难上。
=== [[部分信息分解|PID框架]]在应用层面的局限 ===
PID 框架的在实际应用中的核心问题集中在[[冗余晶格]]中信息原子的计算可行性问题上，具体地说，是由多元情况下[[冗余晶格]]中的信息原子数目过大带来的计算困难上。
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，8个源节点时，部分信息原子项的数目已达到<math>10^{22}</math>量级，此时Dedekind数已无法手动计算出，[[冗余晶格]]结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID原始论文中设想的方式高效计算，这使得PID框架适用的复杂系统规模极为受限。
== PID框架的发展 ==
== [[部分信息分解|PID框架]]的发展 ==
为了解决PID框架遭遇的困难，研究人员针对性地对PID框架进行了发展，在这里我们介绍一类处理连续高维系统的PID估计和可计算性的代表性工作，即[[高斯型PID]]框架。
=== 高斯型PID框架 ===
=== [[高斯型PID]]框架 ===
==== ~G-PID ====
==== ~G-PID ====
Praveen Venkatesh, Corbett Bennett等研究者在2023年的文章中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
Praveen Venkatesh, Corbett Bennett等研究者在2023年的文章中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
这一方法通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在联合高斯分布中，大大降低了进行PID的计算复杂度，研究者们在将文章中说明了~G-PID的计算复杂度为系统变量数的二次方级。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
Praveen Venkatesh, Corbett Bennett在三种高斯直觉性示例（纯特有、纯冗余、纯协同）和三种非直觉性示例（[[特有]]和[[冗余]]、[[特有]]和[[协同]]、[[冗余]]和[[协同]]等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
Praveen Venkatesh, Corbett Bennett在三种高斯直觉性示例（纯特有、纯冗余、纯协同）和三种非直觉性示例（特有和冗余、特有且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
几位研究者的工作在理论上证明了，通过限制~PID的优化搜索空间到高斯分布型集合上时，可以使~G-PID原子在理论上靠近~PID的计算结果，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。
几位研究者的工作在理论上证明了，通过限制~PID的优化搜索空间到高斯分布型集合上时，可以使~G-PID原子在理论上靠近~PID的计算结果，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。
== 相关框架 ==
== 相关框架 ==
=== 部分熵分解 ===
=== [[部分熵分解]] ===
部分熵分解（PED）框架是PID框架最直接的推广，其与标准的PID框架不同之处在于，PED框架不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
部分熵分解（PED）框架是PID框架最直接的推广，其与标准的PID框架不同之处在于，PED框架不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
=== 广义信息分解 ===
=== [[广义信息分解]] ===
广义信息分解（GID）框架是一种基于Kullback-Leibler散度的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
广义信息分解（GID）框架是一种基于Kullback-Leibler散度的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。
=== 整合信息分解(ΦID) ===
=== [[整合信息分解]](ΦID) ===
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论（IIT),克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余晶格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A},\mathcal{A}
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''[[双重冗余晶格]]'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A},\mathcal{A}
</math>是单一目标冗余晶格，其二是用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
</math>是单一目标[[冗余晶格]]，其二是用于捕捉信息在多个来源的'''[[双重冗余函数]]'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
'''双重冗余晶格'''：
'''双重冗余晶格'''：
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的双重冗余晶格结构如下图所示,
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的[[双重冗余晶格]]结构如下图所示,
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]
图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称双冗余原子
图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称[[双重冗余原子]]
[[双重冗余晶格]]上定义了偏序关系
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq \alpha',\beta \preceq \beta'</math>
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq \alpha',\beta \preceq \beta'</math>
'''双重冗余函数'''：
'''双重冗余函数'''：
双重冗余函数<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对双重冗余晶格中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
[[双重冗余函数]]<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对[[双重冗余晶格]]中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
常用的[[双重冗余函数]]为[[最小互信息函数]]：
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 [[整合信息分解|<math>\Phi</math>ID]]必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
与单目标PID的情况不同,双重冗余晶格并非源自冗余函数，而是通过边际格的乘积自然形成。
与单目标PID的情况不同,[[双重冗余晶格]]并非源自冗余函数，而是通过边际格的乘积自然形成。
== PID框架应用研究 ==
== PID框架应用研究 ==
PID的高效性体现在其可以扩展至多个领域，这里集智百科将各以一项具体研究展示[[PID框架]]在因果科学、复杂系统涌现研究、 脑科学与神经科学、意识研究和[[人工智能]]等领域中的应用。
=== PID在因果科学中的应用 ===
=== PID在因果科学中的应用 ===
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解） 是一种旨在解决上述问题的新型[[因果推断]]方法。
SURD基于信息前向传播原理，利用[[香农熵]]与[[互信息]]构建因果分解框架。
这一方法将[[因果关系]]量化为过去观测变量对目标变量未来状态的信息贡献。其核心思想是将目标变量未来状态的不确定性（[[香农熵]]）分解为可由观测变量解释的部分和[[因果泄漏]],而后利用PID框架定义的[[特有]]、[[冗余]]、[[协同]]三类信息原子，将观测变量与目标未来的[[互信息]]，即可解释的[[因果信息]]总量<math>I(Q_{j}^{+};Q)</math>进行分解。
SURD 采用特定互信息（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，特定互信息定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
这
这
一方法克服了传统[[因果推断]]技术，如[[Granger因果]]、[[转移熵]]、 [[convergent cross-mapping]]等方法无法区分[[协同因果]]、[[冗余因果]]等由多变量作用导致的因果关系的局限。
对这一方法的进一步介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由杨明哲同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。
对这一方法的进一步介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由[[杨明哲]]同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
==== 因果涌现形式化理论 ====
==== 因果涌现形式化理论 ====
PID框架在复杂系统科学中被应用于刻画复杂系统中的[[涌现]]现象。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
综述中介绍的理论指出，系统出现<math>k</math>阶[[因果涌现]]的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由[[协同]]信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统[[涌现]]能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为[[向下因果]],<math>\mathcal{G}^{(k)}</math>为[[因果解耦]]。
<math>\mathcal{D}^{(k)}与\mathcal{G}^{(k)}</math>分别由[[部分信息分解框架|PID框架]]中的[[特有]]信息原子刻画，其中<math>\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})</math>
<math>\mathcal{D}^{(k)}与\mathcal{G}^{(k)}</math>分别由PID框架中的特有信息原子刻画，其中<math>\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})</math>
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
该理论已在经典的[[涌现]]模型和脑科学研究中取得了成功应用。
这一部分内容在[[集智百科]]'''[[基于信息分解的因果涌现]]'''词条中已有详尽叙述，详细内容可访问集智百科中'''[[基于信息分解的因果涌现]]'''词条进行查看。
==== 生物系统中的因果涌现现象 ====
==== 生物系统中的因果涌现现象 ====
通过[[部分信息分解框架|PID框架]]的扩展框架[[整合信息分解|<math>\Phi</math> ID框架]],可研究生物系统中的[[涌现]]现象。
在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。
几位研究者的试图研究学习过程是否能增强系统整合性，为此，他们选择了基因调控网络（GRNs）为研究对象，考察了GRNs在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。
为了量化网络的涌现程度，研究者们引入了基于作为PID扩展的[[整合信息分解|<math>\Phi</math> ID]]而开发的[[因果涌现]]度量理论。[[整合信息分解|<math>\Phi</math> ID框架]]通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的[[因果涌现]]性。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框]]架对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
而后<math>\Phi ID</math>被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/涌现指标发生变化，总结了学习可反向强化系统集成性与因果涌现性的特点，同时指出GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
=== PID在脑科学与神经科学中的应用 ===
=== PID在脑科学与神经科学中的应用 ===