216
个编辑
更改
跳到导航
跳到搜索
第811行：
第811行： − − − − 第849行：
第845行： − + − PID框架的应用很多，讨论PID框架的应用研究时。个人认为应当仅可能地遵从如下的三个原则：1.尽可能寻找直接用PID框架或变体并不是很大的PID框架，而非仅有逻辑结构和架构设计思路上与PID框架相关的框架去处理问题的研究 ；2.这类研究在主题的选择上要尽可能地和集智斑图、集智学园中较为热点的读书会、课程主题产生交集——比如尽量选择PID框架在复杂系统(因果涌现)中的应用、PID框架在人工智能中的应用、PID框架在计算神经科学中/意识研究的应用（可选）——各举一个较为代表性的例子即可 3.要尽可能选择相对成熟、已经有一定影响程度，已经在学术界成为一定程度共识，被可靠的信源引用的研究。+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + − （分解为PID框架的直接应用与变体应用）+ + + + + − + 第883行：
第941行： − + 第895行：
第953行： − + + − [[文件:GRNs 1.png|居中|缩略图|800x800像素]] − [[文件:GRNs 2.png|居中|缩略图|800x800像素]] − 利用高斯信息论假设下的Phi ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，而学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息论的信息分解方法在生物连续数据中的有效性。+ + − 第928行：
第985行： − − [[文件:Phi R与Phi R-ing.png|居中|缩略图|600x600像素]] − − 第946行：
第999行： + 第958行：
第1,012行： − + − − − Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）+ − − === 相关框架 === − − ==== 部分熵分解 ==== − 部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。 − − 其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过Mobius反演构建冗余格。 − − 在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式 − − <nowiki>H(X_1,X_2) = H_{\partial}(\{{X}_1\},\</nowiki><nowiki>{{X}_2\}) + H_{\partial}{\{X_1\}}</nowiki> + H_{\partial}(\{X_2\}) + H_{\partial}(\{X_1,X_2\}) − − H(X_1) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_1\}) − − H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\}) − − 进一步有 − − I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\}) − − − PED框架揭示了这样的事实：在更复杂的情景中，双变量互信息结构会变得更加复杂 − − 例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息I(X_1;X_2) − − I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}\{X_3\})+H_{\partial}(\{X_1\}\{X_2\}) − − -H_{\partial}(\{X_3\}\{X_1,X_2\})-H_{\partial}(\{X_1,X_2\}\{X_1,X_3\}\{X_2,X_3\}) − − -H_{\partial}(\{X_1,X_2\}) − − 从而可发现： − − 双变量互信息不仅包含了三个变量间的冗余熵H_{\partial}(\{X_1\}\{X_2\}\{X_3\}),还对X_1和X_2联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。 − − 在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。 − − ==== 整合信息分解(ΦID) ==== − 整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论（IIT),克服 PID 单目标变量局限与传统整合信息测度（如 \PhiWMS、CD）的行为不一致性局限，并将PID扩展至多源。 − − 这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余格'''\mathcal{A}^2 = \mathcal {A} \times \mathcal{A}，\mathcal{A}是单一目标冗余格，其二用于捕捉信息在多个来源的'''双重冗余函数'''I_{\cap}^{\alpha \rightarrow \beta} − − '''双重冗余格'''：+ − 取\mathcal{A} = \{ \{1\},\{2\},\{1,2\},\{\{1\}\{2\}\}\}，由其生成的双重冗余格结构如下图所示, − [[文件:双重冗余格.png|缩略图]] + − 1763606756291.png+ − <nowiki>图中每个节点代表一有序对\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}},称双冗余原子</nowiki>+ − 双重冗余格上定义了偏序关系 − \mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'+ − '''双重冗余函数'''：+ − 双重冗余函数I_{\cap}^{\alpha \rightarrow \beta},是针对双重冗余格中的每个节点\alpha \rightarrow \beta 定义的函数——其中\alpha代表源变量集，\beta代表目标变量集。它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合\alpha与目标变量集合\beta被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。+ − − 常用的双重冗余函数为最小互信息函数： − − I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i) − − 对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 \PhiID 必须回归标准PID模式，这说明PID是 \PhiID的一种特例。 − 与单目标PID的情况不同,双重冗余格并源自冗余函数，而是通过边际格的乘积自然形成，这种用偏序格的代数结构处理冗余信息的方法在逻辑上正确性已成为学界共识，但相比于PID框架，\PhiID框架的数学基础处于亟待完善的状态。 − +
→PID框架应用研究
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于$9$个时，部分信息项的数目超过$5 \times 10^{22}$个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于$9$个时，部分信息项的数目超过$5 \times 10^{22}$个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。
。
。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
== PID框架应用研究 ==
== 相关框架 ==
==== 部分熵分解 ====
部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过Mobius反演构建冗余格。
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
<nowiki>H(X_1,X_2) = H_{\partial}(\{{X}_1\},\</nowiki><nowiki>{{X}_2\}) + H_{\partial}{\{X_1\}}</nowiki> + H_{\partial}(\{X_2\}) + H_{\partial}(\{X_1,X_2\})
H(X_1) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_1\})
H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})
进一步有
I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
PED框架揭示了这样的事实：在更复杂的情景中，双变量互信息结构会变得更加复杂
例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息I(X_1;X_2)
I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}\{X_3\})+H_{\partial}(\{X_1\}\{X_2\})
-H_{\partial}(\{X_3\}\{X_1,X_2\})-H_{\partial}(\{X_1,X_2\}\{X_1,X_3\}\{X_2,X_3\})
-H_{\partial}(\{X_1,X_2\})
从而可发现：
双变量互信息不仅包含了三个变量间的冗余熵H_{\partial}(\{X_1\}\{X_2\}\{X_3\}),还对X_1和X_2联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
==== 整合信息分解(ΦID) ====
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论（IIT),克服 PID 单目标变量局限与传统整合信息测度（如 \PhiWMS、CD）的行为不一致性局限，并将PID扩展至多源。
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余格'''\mathcal{A}^2 = \mathcal {A} \times \mathcal{A}，\mathcal{A}是单一目标冗余格，其二用于捕捉信息在多个来源的'''双重冗余函数'''I_{\cap}^{\alpha \rightarrow \beta}
'''双重冗余格'''：
取\mathcal{A} = \{ \{1\},\{2\},\{1,2\},\{\{1\}\{2\}\}\}，由其生成的双重冗余格结构如下图所示,
[[文件:双重冗余格.png|缩略图]]
1763606756291.png
<nowiki>图中每个节点代表一有序对\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}},称双冗余原子</nowiki>
双重冗余格上定义了偏序关系
\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'
'''双重冗余函数'''：
双重冗余函数I_{\cap}^{\alpha \rightarrow \beta},是针对双重冗余格中的每个节点\alpha \rightarrow \beta 定义的函数——其中\alpha代表源变量集，\beta代表目标变量集。它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合\alpha与目标变量集合\beta被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
常用的双重冗余函数为最小互信息函数：
I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 \PhiID 必须回归标准PID模式，这说明PID是 \PhiID的一种特例。
与单目标PID的情况不同,双重冗余格并源自冗余函数，而是通过边际格的乘积自然形成，这种用偏序格的代数结构处理冗余信息的方法在逻辑上正确性已成为学界共识，但相比于PID框架，\PhiID框架的数学基础处于亟待完善的状态。
== PID框架应用研究 ==
PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域 、意识研究领域中的应用。
PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域 、意识研究领域中的应用。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
==== 因果涌现形式化理论 ====
PID框架在复杂系统科学中被应用于刻画复杂系统中的涌现现象。
PID框架在复杂系统科学中被应用于刻画复杂系统中的涌现现象。
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246
=== PhiID框架在基因网络中的应用 ===
==== 生物系统中的因果涌现现象 ====
通过PID框架的扩展框架PhiID框架,可研究生物系统中的涌现现象。在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等作者使用PhiID框架展开了这一主题的下的研究。
通过PID框架的扩展框架PhiID框架,可研究生物系统中的涌现现象。在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等作者使用PhiID框架展开了这一主题的下的研究。
而后Phi ID被用来计算基因表达信号的因果涌现程度。高斯信息论在这一工作的Phi ID计算中起到了核心支撑，高斯信息论通过假设信号符合高斯分布，带来了Phi ID计算上的极大便利性。
而后Phi ID被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的Phi ID计算中起到了核心支撑，高斯信息假设通过假设信号符合高斯分布，带来了Phi ID计算上的极大便利性。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用Phi ID量化多组件GRNs计算成本大幅降低。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用Phi ID量化多组件GRNs计算成本大幅降低。
此外，作者还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
此外，作者还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
利用高斯信息假设下的Phi ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. ''Communications Biology'', ''8''(1), 1027.
Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. ''Communications Biology'', ''8''(1), 1027.
=== PID框架在意识研究中的应用 ===
=== PID框架在意识研究中的应用 ===
前者解决了IIT 2.0的中 $$\Phi ^{WMS}$$指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了$$\Phi_R$$无法度量的意识信息利用差异程度，与$$\Phi_R$$形成互补 ,为分析意识的信息加工机制提供了量化线索。
前者解决了IIT 2.0的中 $$\Phi ^{WMS}$$指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了$$\Phi_R$$无法度量的意识信息利用差异程度，与$$\Phi_R$$形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
具体而言，零滞后PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
具体而言，零滞后PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解（PIRD）框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解（PIRD）框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。
<nowiki>粗粒化分解式为$$I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}{Y;X_m}+\mathcal{R}{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}$$使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。</nowiki>
<nowiki>粗粒化分解式为$$I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}{Y;X_m}+\mathcal{R}{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}$$使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。</nowiki>
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉时间相关性和频率特异性交互上优于零时滞PID方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
=== PID框架在人工智能领域中的应用 ===
=== PID框架在人工智能领域中的应用 ===
在人工智能领域中，PID框架中的冗余、独特、协同等原子常被用于模型和算法设计中。
Lixin Xiu等人在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
作者将LVLMs的视觉特征,语言特征分别作为源变量，X_1,X_2,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：R（重叠，视觉和语言特征间的冗余）、\(U_{1}\)（仅视觉线索）、\(U_{2}\)（语言侧知识）以及 S（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息S,后者则由语言特征提供的独特信息U_2主导，协同信息对其有增益但存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息S的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
=== 应用 ===
=== 应用（删去不放） ===
协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.
协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.