216
个编辑
更改
跳到导航
跳到搜索
第58行：
第58行： − 在PID框架被提出前，多变量信息理论有两条主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。+ 第71行：
第71行： − 总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——比如下文例子中所展示的高阶冗余交互的情形+ + 第87行：
第88行： − + − + + + + + 第101行：
第106行： − 对单变量的信息熵而言，信息熵始终是一非负值，但在McGill的交互信息框架中却会出现多变量间交互信息为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。+ + 第116行：
第122行： + 第189行：
第196行： − + − + − 两源变量框架的基本构成如下：+ + + − 设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的接受变量,<math>S_1,S_2</math>为信道中的信源变量 + 第207行：
第216行： − + 第231行：
第240行： − 这意味着可以通过互信息-冗余去计算独特。+ + 第239行：
第249行： − + − 为此我们可以先以两源变量框架为例，展示信息原子的计算，为此我们先介绍两源变量情形下，冗余信息的定义，依照一般定义，容易给出冗余信息在两源变量框架中的定义式为：+ + 第252行：
第263行： + + + + 第257行：
第272行： − 本例中，当按照下面的列表取<math>X,Y,Z</math>的分布及相应的联合分布时，可以相应的计算出随机变量的熵、条件熵、相应的条件互信息，从而获得这组随机变量的总相关性、McGill交互信息。+ + + 第372行：
第389行： + − 从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。+ + 第812行：
第831行： − + − 前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前这些公理化方案间存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。冗余信息公理化定义的问题一方面会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。+ + 第820行：
第840行： − 他们证明了一个强结论，即：任何三源以上基于反链结构和PID公理的PID方法都不可能满足子系统一致性，这意味着，即便两个系统具有相同的冗余格与部分信息原子，加总后也可能得到不同的总互信息。+ − + − + + + + + − 对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>n-1</math>阶Dedekind数。 − + 第843行：
第866行： − + − − 第861行：
第882行： + 第868行：
第890行： − 第965行：
第986行： − + 第976行：
第997行： − 这一方法方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献，其核心思想是将目标变量未来状态的不确定性（Shannon熵）分解为可由观测变量解释的部分和因果泄漏,而后利用PID框架定义的独特、冗余、协同三类信息原子，将观测变量与目标未来的互信息，即可解释的因果信息总量<math>I(Q_{j}^{+};Q)</math>进行分解。SURD 采用特定互信息（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，特定互信息定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。+ + + + + + + + − 这一方法克服了传统因果推断技术，如Granger因果、转移熵、 convergent cross-mapping等方法无法区分协同因果、冗余因果等由多变量作用导致的因果关系的局限。 第1,005行：
第1,032行： − + − + 第1,034行：
第1,061行： − − − − 研究者们利用协同信息原子定义了<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。 + 第1,048行：
第1,072行： + + 第1,058行：
第1,084行： − 前者解决了IIT 2.0的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。+ − + − − 第1,091行：
第1,115行： + 第1,101行：
第1,126行： + + + +
→历史
== PID框架的形成动机 ==
== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
=== 总相关性 ===
=== 总相关性 ===
其中<math>H(X_i)</math>是变量的信息熵<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的联合熵。
其中<math>H(X_i)</math>是变量的信息熵<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的联合熵。
总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
'''例：三变量情形的高阶交互冗余'''
'''例：三变量情形的高阶交互冗余'''
高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
=== McGill 交互信息(多重互信息、共信息) ===
=== McGill 交互信息 ===
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：
McGill交互信息又称多重互信息或共信息，其定义方式如下
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息由互信息和条件互信息组成的递归式给出：
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
当<math>I(X_1,X_2,\dots,X_n)</math>以随机变量的信息熵和联合熵表达时,可以写成如下形式：
当<math>I(X_1,X_2,\dots,X_n)</math>以随机变量的信息熵和联合熵表达时,可以写成如下形式：
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
'''负交互信息问题'''
'''负交互信息问题'''
对单变量的信息熵而言，信息熵始终是一非负值，但在McGill的交互信息框架中却会出现多变量间交互信息为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，PID就是其中一种。
下面的例子展示了McGill交互信息框架中的负信息问题。
下面的例子展示了McGill交互信息框架中的负信息问题。
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
强局部非负性：对任意 <math>n</math>，由Williams(2010)定义的部分信息均非负。
强局部非负性：对任意 <math>n</math>，由Williams(2010)定义的部分信息均非负。
=== 两源变量框架与部分信息原子 ===
=== 两源变量PID框架与部分信息原子 ===
这里,以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
这里,集智百科先以两源变量的情形向各位读者展示部分信息分解（PID）框架中所涉及的核心概念。
两源变量PID框架的基本构成如下：
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的接收变量,<math>S_1,S_2</math>为信道中的信源变量
记<math>S_1,S_2</math>整体构成了随机变量组:
记<math>S_1,S_2</math>整体构成了随机变量组:
<math>\mathbf{S} = \{S_1,S_2\}</math>
<math>\mathbf{S} = \{S_1,S_2\}</math>
PID框架要分解的是<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>.
PID框架要分解的是<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>.
部分信息原子包括如下三个部分:
部分信息原子包括如下三个部分:
'''独特信息(Un)''':<math>S_1,S_2</math>其中一个可以向<math>T</math>提供,而另一个无法提供的信息
'''独特信息(Un)''':仅源变量<math>S_1,S_2</math>中的一个自身可以向<math>T</math>目标提供,而另一个无法提供的信息。
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1)</math>
<math>I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1)</math>
这意味着，我们可以通过互信息-冗余去计算独特。
2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成
2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成
<math>I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1)</math>
这意味着，在通过'''互信息-冗余'''计算完独特后，可以用'''条件互信息-独特'''计算协同。
这意味着，在通过'''互信息-冗余'''计算完独特后，我们可以用'''条件互信息-独特'''计算协同。
在此，集智百科将先以两源变量框架为例，展示信息原子的计算过程，为了在后面的例子中进行机选，在这里集智百科先给出两源变量情形下，冗余信息的定义。依照Paul L. Williams和Randall D. Beer在论文中给出一般定义，容易得到冗余信息在两源变量框架中的定义式：
<math>
<math>
I(T = t; S_i) = \sum_{\mathbf{s}}p(\mathbf{\mathbf{s}}|t)\log_2\frac{p(t|\mathbf{s})}{p(\mathbf{s})}
I(T = t; S_i) = \sum_{\mathbf{s}}p(\mathbf{\mathbf{s}}|t)\log_2\frac{p(t|\mathbf{s})}{p(\mathbf{s})}
</math>
</math>
在给出两源情形下的冗余信息原子的定义后，集智百科将以经典的异或目标变量情形为例展示PID的计算过程，并同时计算总相关性与McGill交互信息，讨论PID框架如何解释McGill交互信息的负值问题。
'''例'''：
'''例'''：
<math>X,Y,Z</math>三元变量组中，设<math>X,Y</math>独立,<math>Z =X \oplus Y</math>
<math>X,Y,Z</math>三元变量组中，设<math>X,Y</math>独立,<math>Z =X \oplus Y</math>
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中熵、条件熵、相应的条件互信息，从而获得这组随机变量的总相关性、McGill交互信息。
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
容易验证，此时，该三变量系统分解所得的冗余-协同<math>=0-1 =-1</math>，即是McGill交互信息的值。
容易验证，此时，该三变量系统分解所得的冗余-协同<math>=0-1 =-1</math>，即是McGill交互信息的值。
从PID的两源变量框架的算例中可知，若想清楚地分解源变量组与接收变量间的传输信息结构，需要先分析清楚冗余;对于冗余结构更为复杂的多元变量情形，PID框架的作者发展出了相应的冗余晶格理论。
=== 冗余晶格 ===
=== 冗余晶格 ===
=== PID框架在理论层面的局限 ===
=== PID框架在理论层面的局限 ===
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一上：
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一上。
前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。一方面，冗余信息公理化定义的问题暗示着PID框架本身的可靠性存在问题，另一方面，多种冗余函数的定义方案也给在研究者应用PID框架对具体系统进行的信息分解计算带来了选择困难。
研究者们证明了一个强结论——任何三源以上基于反链结构和PID公理的PID方法都不可能满足子系统一致性，这意味着，即便两个系统具有相同的冗余格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu AoBo等研究者认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，而是PID框架中将协同信息这一全局性质局域化到信息原子上导致的。他们认为用集合论格结构去描述协同信息这种高阶交互作用本身就并不恰当，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。
Lyu AoBo等研究者认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，其根源在PID框架中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。
=== PID框架在应用层面的局限 ===
=== PID框架在应用层面的局限 ===
PID 框架的在实际应用中的核心问题集中在冗余格中的信息原子带来的计算可行性问题上，具体地说，是由行性Deedkind数过大带来的计算困难上。这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。
PID 框架的在实际应用中的核心问题集中在冗余格中的信息原子带来的计算可行性问题上，具体地说，是由多元情况下冗余格中的信息原子数目过大带来的计算困难上。
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>n-1</math>阶Dedekind数。
这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于<math>9</math>个时，部分信息项的数目超过<math>5 \times 10^{22}</math>个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于<math>9</math>个时，部分信息项的数目超过<math>5 \times 10^{22}</math>个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文中设想的方式高效计算，这使得PID框架适用的复杂系统规模极为受限。
== PID框架的发展 ==
== PID框架的发展 ==
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
~G-PID框架定义的信息原子，分别是~PID/BROJA-PID框架中同类型信息原子的上界或下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
Wenyuan Zhao 、Chao Tian等人给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
Wenyuan Zhao 、Chao Tian等人给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
== PID框架应用研究 ==
== PID框架应用研究 ==
PID的高效性体现在其可以扩展至多个领域，这里集智百科将各以一项具体研究展示PID在因果科学、复杂系统涌现研究、 脑与神经科学、意识研究和人工智能等领域中的应用。
PID的高效性体现在其可以扩展至多个领域，这里集智百科将各以一项具体研究展示PID在因果科学、复杂系统涌现研究、 脑科学与神经科学、意识研究和人工智能等领域中的应用。
=== PID在因果科学中的应用 ===
=== PID在因果科学中的应用 ===
SURD基于信息前向传播原理，利用Shannon熵与互信息构建因果分解框架。
SURD基于信息前向传播原理，利用Shannon熵与互信息构建因果分解框架。
这一方法方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献。其核心思想是将目标变量未来状态的不确定性（Shannon熵）分解为可由观测变量解释的部分和因果泄漏,而后利用PID框架定义的独特、冗余、协同三类信息原子，将观测变量与目标未来的互信息，即可解释的因果信息总量<math>I(Q_{j}^{+};Q)</math>进行分解。
SURD 采用特定互信息（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，特定互信息定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
这
一方法克服了传统因果推断技术，如Granger因果、转移熵、 convergent cross-mapping等方法无法区分协同因果、冗余因果等由多变量作用导致的因果关系的局限。
这一部分内容在集智百科'''基于信息分解的因果涌现'''词条中已有详尽叙述，详细内容可访问集智百科中'''基于信息分解的因果涌现'''词条进行查看。
这一部分内容在集智百科'''[[基于信息分解的因果涌现]]'''词条中已有详尽叙述，详细内容可访问集智百科中'''[[基于信息分解的因果涌现]]'''词条进行查看。
==== 生物系统中的因果涌现现象 ====
==== 生物系统中的因果涌现现象 ====
通过PID框架的扩展框架<math>\Phi</math> ID框架,可研究生物系统中的涌现现象。
通过PID框架的扩展框架<math>\Phi</math> ID框架,可研究生物系统中的[[涌现]]现象。
而由Andrea I. Luppi等研究者在2020年提出的大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
而由Andrea I. Luppi等研究者在2020年提出的大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、独特与协同三个部分。
这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、独特与协同三个部分。
研究者们使用了由协同信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。
关于这一工作的详细介绍，可访问集智斑图网站,在《因果涌现读书会（第五季）》中由王志鹏同学主讲的《大脑认知与演化的协同核》视频中进行查看。
关于这一工作的详细介绍，可访问集智斑图网站,在《因果涌现读书会（第五季）》中由王志鹏同学主讲的《大脑认知与演化的协同核》视频中进行查看。
=== 意识的形式理论 ===
=== 意识的形式理论 ===
在2021年的一篇工作中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
在2021年的一篇工作中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非意识量的差异。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非意识量的差异。
这一工作中，从PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。
这一工作中，从PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了IIT2.0仅关注意识量的缺陷。
=== PID框架在随机过程中的应用 ===
=== PID框架在随机过程中的应用 ===
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
Xiu Lixin等研究者在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
Xiu Lixin等研究者在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
研究者们将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
研究者们将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。