216
个编辑
更改
→总相关性
每个可能取值对应的概率记为 <math>\{p_1,p_2,\dots,p_n\}</math>。
每个可能取值对应的概率记为 <math>\{p_1,p_2,\dots,p_n\}</math>。
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵,<math>H(X)</math>满足以下三条公理：
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵,<math>H(X)</math>满足以下三条公理：
总相关性量化了目标变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
总相关性量化了目标变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
'''例：三变量情形的高阶交互冗余（待修改）'''
'''例：三变量情形的高阶交互冗余'''
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
| <math>(X,Y,Z)</math> || <math>p_{XYZ}</math> || <math>p_Xp_Yp_Z</math>
| <math>(X,Y,Z)</math> || <math>p_{XYZ}</math> || <math>p_Xp_Yp_Z</math>
|-
|-
| <math>(0,0,0;)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
| <math>(0,0,0)</math>||<math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
|-
|-
| <math>(0,1,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
| <math>(0,1,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一以及三源以上反链格PID的表示结构可能存在更根本的不一致上。
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一以及三源以上反链格PID的表示结构可能存在更根本的不一致上。
前文已指出,存在多重冗余信息原子的公理化方案，相应地，也存在着不同形式的冗余信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案，另一方面，三源以上情形中基于反链格PID的表示结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》一文中尝试对PID框架的理论问题进行梳理与回答。
Lyu、Clark 与 Raviv指出，在三源及以上情形，若坚持传统 反链格表示并要求若干自然的一致性条件，会出现子系统不一致或表示性障碍。这意味着，即便两个系统具有相同的冗余晶格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu、Clark 与 Raviv等研究者认为,基于冗余晶格结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在PID框架中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整反链格原子分解，而直接定义多源独特、(K)-阶 协同、总协同（total synergy） 等可解释量。
Lyu、Clark 与 Raviv等研究者认为,基于冗余晶格结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在PID框架中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整反链格原子分解，而直接定义多源 unique、(K)-阶 synergy、total synergy 等可解释量
=== PID框架在应用层面的局限 ===
=== PID框架在应用层面的局限 ===
== PID框架的发展 ==
== PID框架的发展 ==
为了解决PID框架遭遇的困难，研究人员针对性地对PID框架进行了发展，在这里我们介绍一类处理连续高维系统的PID估计和可计算性的代表性工作，即高斯型PID框架。
=== 高斯型PID框架 ===
=== 高斯型PID框架 ===
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，作者在将其从系统变量数的超指数级降至二次方级。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
Wenyuan Zhao 、Chao Tian等人在2025年发表的工作中发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章中提出 Thin-PID 作为 latent Gaussian distributions 中提升 GPID 计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
Wenyuan Zhao 、Chao Tian等人给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
Wenyuan Zhao 、Chao Tian等人给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
[[文件:FlowPID.png|居中|900x900px|替代=|无框]]
[[文件:FlowPID.png|居中|900x900px|替代=|无框]]
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
=== 部分熵分解 ===
=== 部分熵分解 ===
部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
进一步有:
进一步有:
<math>I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})</math>
<math>I(X_1;X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
从中可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
从中可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余晶格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A}，\mathcal{A}</math>是单一目标冗余晶格，其二是用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余晶格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A},\mathcal{A}
</math>是单一目标冗余晶格，其二是用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
'''双重冗余晶格'''：
'''双重冗余晶格'''：
双重冗余晶格上定义了偏序关系
双重冗余晶格上定义了偏序关系
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'</math>
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq \alpha',\beta \preceq \beta'</math>
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
与单目标PID的情况不同,双重冗余晶格并源自冗余函数，而是通过边际格的乘积自然形成。
与单目标PID的情况不同,双重冗余晶格并非源自冗余函数，而是通过边际格的乘积自然形成。
== PID框架应用研究 ==
== PID框架应用研究 ==