216
个编辑
更改
→PID框架的形成动机
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代[[信息论 Information theory|信息论]]研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代[[信息论 Information theory|信息论]]研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在的一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在的一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。
其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。
其中<math>\Omega(X_1，X_2,\dots, X_n,Y)</math>为该组随机变量构成的联合试验的样本空间，<math>x_1，x_2,\dots, x_n,Y</math>为样本空间中元素，对应一组特定的随机变量取值。
而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。
而<math>p(x_1,x_2,\dot,x_n,y)</math>为随机变量组取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n,Y =y</math>时的联合概率，<math>p(x_1,x_2,\dot,x_n)</math>为随机变量<math>Y=y</math>条件下,其余随机变量取值为<math>X_1 = x_1, X_2 = x_2 ,\dots, X_n = x_n</math>的条件概率。
当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:
当多元随机变量组<math>{X_1，X_2,\dots, X_n}</math>是具有联合密度函数为<math>p(x_1,x_2,\dots,x_n)</math>、条件密度函数<math>p(x_1,x_2\dots,x_n|y)</math>为的连续型随机变量组时，其条件的定义由下式给出:
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。
其中<math>p_{XY}(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_{X}(x_i),p_{Y}(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。
当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_{XY}(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为：
当<math>X,Y</math>为两个概率密度函数分别为<math>p_X(x),p_Y(y)</math>且联合分布为<math>p_{XY}(x,y)</math>的连续型随机变量时，此时相应的互信息定义式为：
== PID框架的形成动机 ==
== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的[[总相关性]]框架<ref>[https://ieeexplore.ieee.org/abstract/document/5392532 Watanabe S (1960). Information theoretical analysis of multivariate correlation, ''IBM Journal of Research and Development'' '''4''', 66–82.]</ref>及William J. McGill于1954提出的[[McGill交互信息|交互信息]]框架<ref>[https://www.cambridge.org/core/journals/psychometrika/article/abs/multivariate-information-transmission/7EB2980C5C5668747D306E2842C8C0A8 McGill W J (1954). Multivariate information transmission, ''Psychometrika'' '''19''', 97–116.]</ref>，前者提出的[[总相关性]]熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的[[负交互信息问题]]。这些为[[部分信息分解|PID框架]]的形成提供了动机，一方面[[部分信息分解|PID框架]]试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，[[部分信息分解|PID框架]]要给出[[McGill交互信息|交互信息]]框架中负信息的形成机制及其意义，即为[[负交互信息问题]]提供结构化解释。
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的[[总相关性]]框架<ref>[https://ieeexplore.ieee.org/abstract/document/5392532 Watanabe S (1960). Information theoretical analysis of multivariate correlation, ''IBM Journal of Research and Development'' '''4''', 66–82.]</ref>及William J. McGill于1954提出的[[McGill交互信息|交互信息]]框架<ref>[https://www.cambridge.org/core/journals/psychometrika/article/abs/multivariate-information-transmission/7EB2980C5C5668747D306E2842C8C0A8 McGill W J (1954). Multivariate information transmission, ''Psychometrika'' '''19''', 97–116.]</ref>，前者提出的[[总相关性]]熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的交互信息出现负值的问题。这些为[[部分信息分解|PID框架]]的形成提供了动机，一方面[[部分信息分解|PID框架]]试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，[[部分信息分解|PID框架]]要给出[[McGill交互信息|交互信息]]框架中负信息的形成机制及其意义，即为交互信息出现负值的问题提供结构化解释。
=== 总相关性 ===
=== 总相关性 ===
其中<math>H(X_i)</math>是变量的[[信息熵]]<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的[[联合熵]]。
其中<math>H(X_i)</math>是变量的[[信息熵]]<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的[[联合熵]]。
[[总相关性]]量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对[[冗余]]结构的细致分析——譬如，在下面例子中所展示的高阶[[冗余]]交互作用。
[[总相关性]]通过将每个随机变量孤立情形下的熵加总后减去它们的联合熵，量化了目标变量集中存在的绝对[[冗余信息原子|冗余]]的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对[[冗余]]结构的细致分析——譬如，在下面例子中所展示的高阶[[冗余]]交互作用。
'''例：三变量情形的高阶交互[[冗余]]'''
'''例：三变量情形的高阶交互[[冗余]]'''
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
[[文件:高阶冗余（三两源变量）示意.png|居中|无框|600x600像素]]
[[文件:三变量高阶冗余示例.png|边框|居中|无框|337x337像素]]
一个实例：令<math>X_1,X_2,X_3</math>构成了一两输入XOR电路门，<math>\{X_1,X_2\}</math>为前两个输入的整体输入情况，<math>X_3</math>为<math>X_1\oplus X_2</math>的输出情况。
一个实例：令<math>X_1,X_2,X_3</math>构成了一两输入XOR电路门，<math>\{X_1,X_2\}</math>为前两个输入的整体输入情况，<math>X_3</math>为<math>X_1\oplus X_2</math>的输出情况。
<math>X_1,X_2,X_3</math>两两独立，但<math>\{X_1,X_2\}</math>整体的输入情况<math>\{X_1,X_2\}</math>，和<math>X_3</math>的输出情况之间是冗余的。
<math>X_1,X_2,X_3</math>两两独立，但<math>\{X_1,X_2\}</math>整体的输入情况<math>\{X_1,X_2\}</math>，和<math>X_3</math>的输出情况之间是冗余的。
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的[[McGill交互信息]]为下图中的灰色部分:<math>I(X;Y;Z)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的[[McGill交互信息]]为下图中的灰色部分:<math>I(X;Y;Z)</math>
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|居中|600x600像素]]
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|居中|338x338px]]
'''负交互信息问题'''
'''交互信息的负值问题'''
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，[[部分信息分解|PID]]就是其中一种。
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，[[部分信息分解|PID框架]]就是其中一种。
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
[[McGill交互信息]]负值的出现意味着本不是冗余的信息被计算成了[[冗余信息原子|冗余信息,]]从而暗示了以往被算作“[[冗余信息原子|冗余信息]]”的部分可能包含着多个变量形成整体间互相作用的效果,启发了[[部分信息分解|PID框架]]将[[协同信息原子|协同]]计入[[信息原子]]。
[[McGill交互信息]]负值的出现意味着本不是冗余的信息被计算成了[[冗余信息原子|冗余信息,]]从而暗示了以往被算作“[[冗余信息原子|冗余信息]]”的部分可能包含着多个变量形成整体间互相作用的效果,启发了[[部分信息分解|PID框架]]将[[协同信息原子|协同]]计入[[信息原子]]。
=== [[冗余信息原子|冗余信息]]的定义 ===
=== [[冗余信息原子|冗余信息]]的定义 ===
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个源<math>S_i</math>所提供的信息由[[互信息]]<math>I(T;S_i)</math>给出。然而，关键在于[[互信息]]实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，称为源。每个源<math>S_i</math>所提供的信息由[[互信息]]<math>I(T;S_i)</math>给出。然而，关键在于[[互信息]]实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为：\begin{equation}
\begin{equation}
I(T;S)=\sum_{t}p(t)\,I(T=t;S)
I(T;S)=\sum_{t}p(t)\,I(T=t;S)
\end{equation}
\end{equation}
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
从而
<math>I(\mathbf{S};T)=I((S_1,S_2);T) = \mathrm{Syn}(S_1,S_2 \rightarrow T)+ \mathrm{Un}(S_1 \rightarrow T | S_2)+\mathrm{Un}(S_2 \rightarrow T| S_1)+\mathrm{Red}(S_1,S_2\rightarrow T) </math>
<math>I(\mathbf{S};T)=I((S_1,S_2);T) = \mathrm{Syn}(S_1,S_2 \rightarrow T)+ \mathrm{Un}(S_1 \rightarrow T | S_2)+\mathrm{Un}(S_2 \rightarrow T| S_1)+\mathrm{Red}(S_1,S_2\rightarrow T) </math>
这意味着，我们可以通过[[互信息]]-[[冗余]]去计算特有信息。
这意味着，我们可以通过[[互信息]]-[[冗余]]去计算特有信息。
2. 某一源向和目标变量组（整体）传递的信息由[[特有]]和[[协同]]构成
2. 某一源向和目标变量组（整体）传递的信息由[[特有]]和[[协同]]构成
</math>
</math>
其中
其中:
<math>
<math>
在给出两源情形下的[[冗余]]信息原子的定义后，集智百科将以经典的异或目标变量情形为例展示PID的计算过程，并同时计算[[总相关性]]与[[McGill交互信息]]，讨论PID框架如何解释[[McGill交互信息]]的负值问题。
在给出两源情形下的[[冗余]]信息原子的定义后，集智百科将以经典的异或目标变量情形为例展示PID的计算过程，并同时计算[[总相关性]]与[[McGill交互信息]]，讨论PID框架如何解释[[McGill交互信息]]的负值问题。
<math>X,Y,Z</math>三元变量组中，设<math>X,Y</math>独立,<math>Z =X \oplus Y</math>
<math>X,Y,Z</math>三元变量组中，设<math>X,Y</math>独立,<math>Z =X \oplus Y</math>
由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,通过异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性可知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。
{| class="wikitable"
{| class="wikitable"
|-
|-
容易验证，此时，该三变量系统分解所得的[[冗余-协同]]<math>=0-1 =-1</math>，即是[[McGill交互信息]]的值。
容易验证，此时，该三变量系统分解所得的[[冗余-协同]]<math>=0-1 =-1</math>，即是[[McGill交互信息]]的值。
从PID的两源变量框架的算例中可知，若想清楚地分解源变量组与目标变量间的传输信息结构，需要先分析清楚[[冗余]];对于[[冗余]]结构更为复杂的多元变量情形，PID框架的作者发展出了相应的[[冗余晶格]]理论，下面，集智百科将对冗余晶格理论予以详细介绍。
从PID的两源变量框架的算例中可知，若想清楚地分解源变量组与目标变量间的传输信息结构，需要先分析清楚[[冗余]];对于[[冗余]]结构更为复杂的多元变量情形，PID框架的作者发展出了相应的[[冗余晶格]]理论。
=== [[冗余晶格]] ===
=== [[冗余晶格]] ===
在上面的两源变量的维恩图里可以观察到：
<math>I(T;S_{1})=\mathrm{Unq}(T;S_{1})+\mathrm{Red}(T;S_{1},S_{2})</math>
<math>I(T;S_{1})=\mathrm{Unq}(T;S_{1})+\mathrm{Red}(T;S_{1},S_{2})</math>
<math>I(T;S_{1},S_{2})=\mathrm{Unq}(T;S_{1})+\mathrm{Red}(T;S_{1},S_{2})+\mathrm{Unq}(T;S_{2})+\mathrm{Syn}(T;S_{1},S_{2})</math>
<math>I(T;S_{1},S_{2})=\mathrm{Unq}(T;S_{1})+\mathrm{Red}(T;S_{1},S_{2})+\mathrm{Unq}(T;S_{2})+\mathrm{Syn}(T;S_{1},S_{2})</math>
由于<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>都是已知的，则我们给定[[冗余]]信息，[[协同]]信息，[[特有]]信息中任何一个的定义都可以唯一确定这个两源变量的系统，William和Beer论文中选择了给出[[冗余]]信息的定义<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。
由于<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>都是已知的，则给定[[冗余]]信息，[[协同]]信息，[[特有]]信息中任何一个的定义都可以唯一确定这个两源变量的系统，William和Beer论文中选择了给出[[冗余]]信息的定义<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。
但对于多源变量的情况，其[[协同信息]]，[[特有信息]]，[[冗余信息]]（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用[[冗余晶格]]来重塑系统的结构以产生一个偏序关系使其可以通过[[莫比乌斯反演]]得到类似上一段里的两源变量[[部分信息分解]]的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍[[冗余晶格]]如何产生。
但对于多源变量的情况，其[[协同信息]]，[[特有信息]]，[[冗余信息]]（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用[[冗余晶格]]来重塑系统的结构以产生一个偏序关系使其可以通过[[莫比乌斯反演]]得到类似上一段里的两源变量[[部分信息分解]]的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍[[冗余晶格]]如何产生。
PID框架在理论层面的局限主要集中在,PID的[[冗余]]信息的公理化方案约束出的信息原子形式不唯一以及三源以上反链格PID的表示结构可能存在更根本的不一致上。
PID框架在理论层面的局限主要集中在,PID的[[冗余]]信息的公理化方案约束出的信息原子形式不唯一以及三源以上反链格PID的表示结构可能存在更根本的不一致上。
前文已指出,存在多重[[冗余]]信息原子的公理化方案，相应地，也存在着不同形式的[[冗余]]信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的[[冗余函数]]的方案，另一方面，三源以上情形中由反链格表示的PID结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
前文已指出,目前已有多种[[冗余]]信息原子的公理化方案，相应地，也存在着不同形式的[[冗余]]信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的[[冗余函数]]的方案，另一方面，三源以上情形中由反链格表示的PID结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》<ref>[https://journals.aps.org/pre/abstract/10.1103/8rzp-w5z1 Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures." ''Physical Review E'' 113.3 (2026): 034102.]</ref>一文中尝试对PID框架的理论问题进行梳理与回答。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》<ref>[https://journals.aps.org/pre/abstract/10.1103/8rzp-w5z1 Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures." ''Physical Review E'' 113.3 (2026): 034102.]</ref>一文中尝试对PID框架的理论问题进行梳理与回答。
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
</math>为源变量数。
</math>为源变量数。
这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。
这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，8个源节点时，部分信息原子项的数目已达到<math>10^{22}</math>量级，此时Dedekind数已无法手动计算出，[[冗余晶格]]结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID原始论文中设想的方式高效计算，这使得PID框架适用的复杂系统规模极为受限。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，8个源节点时，部分信息原子项的数目已达到<math>10^{22}</math>量级，此时Dedekind数已无法手动计算出，[[冗余晶格]]结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID原始论文中设想的方式高效计算，这使得PID框架适用的复杂系统规模极为受限。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
Wenyuan Zhao 、Chao Tian等研究者给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
Wenyuan Zhao 、Chao Tian等研究者给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上，下面的图片为Thin-PID方法通过Normalizing Flows应用至非高斯数据的原理示例。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上，下面的图片为Thin-PID方法通过Normalizing Flows应用至非高斯数据的示例。
[[文件:FlowPID.png|居中|900x900px|替代=|无框]]
[[文件:FlowPID.png|居中|900x900px|替代=|无框]]
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、特有、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、特有、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
<math>I(X_1;X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
<math>I(X_1;X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
</math>
</math>
PED框架揭示了这样的事实——在更复杂的情景中，双变量互信息结构会变得更加复杂。
PED框架揭示了这样的事实——在更复杂的情景中，双变量互信息结构会变得更加复杂。
<math>-H_{\partial}(\{X_1,X_2\})</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
从中可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
从中可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
=== [[广义信息分解]] ===
=== [[广义信息分解]] ===
[[广义信息分解]]（GID）框架是一种基于[[Kullback-Leibler散度]]的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
[[广义信息分解]]（GID）框架是一种基于[[Kullback-Leibler散度]]的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
GID的核心思想为：将KL散度表示为局部熵差的期望：
GID的核心思想为：将KL散度表示为局部熵差的期望：
=== [[整合信息分解|整合信息分解(ΦID)]] ===
=== [[整合信息分解|整合信息分解(ΦID)]] ===
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''[[双重冗余晶格]]'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A},\mathcal{A}
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''[[双重冗余晶格]]'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A},\mathcal{A}
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 [[整合信息分解|<math>\Phi</math>ID]]必须回归标准PID模式，这说明PID是[[整合信息分解|<math>\Phi</math>ID]]的一种特例。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 [[整合信息分解|<math>\Phi</math>ID]]必须回归标准PID模式，这说明PID是[[整合信息分解|<math>\Phi</math>ID]]的一种特例。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
这一方法克服了传统[[因果推断]]技术，如[[Granger因果]]、[[转移熵]]、 [[convergent cross-mapping]]等方法无法区分[[协同因果]]、[[冗余因果]]等由多变量作用导致的因果关系的局限。
这一方法克服了传统[[因果推断]]技术，如[[Granger因果]]、[[转移熵]]、 [[convergent cross-mapping]]等方法无法区分[[协同因果]]、[[冗余因果]]等由多变量作用导致的因果关系的局限。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》<ref>[https://pmc.ncbi.nlm.nih.gov/articles/PMC9125226/ Mediano, Pedro AM, et al. "Greater than the parts: a review of the information decomposition approach to causal emergence." ''Philosophical transactions. Series A, Mathematical, physical, and engineering sciences'' 380.2227 (2022): 20210246.]</ref>中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》<ref>[https://pmc.ncbi.nlm.nih.gov/articles/PMC9125226/ Mediano, Pedro AM, et al. "Greater than the parts: a review of the information decomposition approach to causal emergence." ''Philosophical transactions. Series A, Mathematical, physical, and engineering sciences'' 380.2227 (2022): 20210246.]</ref>中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
该理论已在经典的[[涌现]]模型和脑科学研究中取得了成功应用。
该理论已在经典的[[涌现]]模型和脑科学研究中取得了成功应用。
这一部分内容在[[集智百科]]'''[[基于信息分解的因果涌现]]'''词条中已有详尽叙述，详细内容可访问集智百科中'''[[基于信息分解的因果涌现]]'''词条进行查看。
这一部分内容在[[集智百科]]'''[[基于信息分解的因果涌现]]'''词条中已有详尽叙述，详细内容可访问集智百科中'''[[基于信息分解的因果涌现]]'''词条进行查看。
在2025年的文章《Associative conditioning in gene regulatory network models increases integrative causal emergence》中<ref>[https://www.nature.com/articles/s42003-025-08411-2 Pigozzi, Federico, Adam Goldstein, and Michael Levin. "Associative conditioning in gene regulatory network models increases integrative causal emergence." ''Communications Biology'' 8.1 (2025): 1027.]</ref>,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。
在2025年的文章《Associative conditioning in gene regulatory network models increases integrative causal emergence》中<ref>[https://www.nature.com/articles/s42003-025-08411-2 Pigozzi, Federico, Adam Goldstein, and Michael Levin. "Associative conditioning in gene regulatory network models increases integrative causal emergence." ''Communications Biology'' 8.1 (2025): 1027.]</ref>,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。
几位研究者的试图研究学习过程是否能增强系统整合性，为此，他们选择了[[基因调控网络（GRNs）]]为研究对象，考察了[[GRNs]]在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。
为了量化[[基因调控网络（GRNs）]]的涌现程度，研究者们引入了基于作为PID扩展的[[整合信息分解|<math>\Phi</math> ID]]而开发的[[因果涌现]]度量理论。[[整合信息分解|<math>\Phi</math> ID框架]]通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的[[因果涌现]]性。
研究者们针对BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》<ref>[https://www.nature.com/articles/s41593-022-01070-0 Luppi, Andrea I., et al. "A synergistic core for human brain evolution and cognition." ''Nature neuroscience'' 25.6 (2022): 771-782.]</ref>之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》<ref>[https://www.nature.com/articles/s41593-022-01070-0 Luppi, Andrea I., et al. "A synergistic core for human brain evolution and cognition." ''Nature neuroscience'' 25.6 (2022): 771-782.]</ref>之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将[[部分信息分解|部分信息分解（PID)框架]]延申的[[整合信息分解|<math>\Phi</math> ID框架]]引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用[[整合信息分解|<math>\Phi</math> ID框架]]将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的[[互信息]]分解为[[冗余]]、[[特有]]与[[协同]]三个部分。
这一工作的创新点在于将[[部分信息分解|部分信息分解（PID)框架]]延申的[[整合信息分解|<math>\Phi</math> ID框架]]引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用[[整合信息分解|<math>\Phi</math> ID框架]]将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的[[互信息]]分解为[[冗余]]、[[特有]]与[[协同]]三个部分。
研究者们使用了由[[协同]]信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而[[冗余]]信息则主导感觉运动区，且[[冗余]]网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的[[整合信息分解|<math>\Phi</math> ID]]分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的[[信息论]]基础。
研究者们使用了由[[协同]]信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而[[冗余]]信息则主导感觉运动区，且[[冗余]]网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的[[整合信息分解|<math>\Phi</math> ID]]分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的[[信息论]]基础。
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
具体而言，[[zero-lag PID]]只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而[[transfer-entropy PID]]仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
具体而言，[[zero-lag PID]]只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而[[transfer-entropy PID]]仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架<ref>[https://journals.aps.org/prl/abstract/10.1103/nrwj-n8lj Faes, Luca, et al. "Partial information rate decomposition." ''Physical Review Letters'' 135.18 (2025): 187401.]</ref>，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架<ref>[https://journals.aps.org/prl/abstract/10.1103/nrwj-n8lj Faes, Luca, et al. "Partial information rate decomposition." ''Physical Review Letters'' 135.18 (2025): 187401.]</ref>，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
与[[zero-lag PID]]和[[transfer-entropy PID]]不同，[[PIRD]]使用[[部分信息分解|PID框架]]分解的目标是包括了源过程与目标过程间所有交互作用的[[互信息率]]（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态[[互信息]]（MI），结合[[频率域谱冗余率]]（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的[[特有]]、[[冗余]]、[[协同]]贡献分解。
与[[zero-lag PID]]和[[transfer-entropy PID]]不同，[[PIRD]]使用[[部分信息分解|PID框架]]分解的目标是包括了源过程与目标过程间所有交互作用的[[互信息率]]（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态[[互信息]]（MI），结合[[频率域谱冗余率]]（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的[[特有]]、[[冗余]]、[[协同]]贡献分解。
为了解决高维系统中冗余晶格原子数随源变量数目超指数增长带来的计算困难问题，研究者们提出了信息原子的贡献模式，将信息原子分为[[特有]]类，[[冗余]]类和[[协同]]类，对[[冗余晶格]]的结构进行[[粗粒化]]的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
通过计算粗粒化分解式:<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>中的<math>\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>，使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，[[PIRD框架]]能够精准捕捉到[[zero-lag PID]]无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于[[zero-lag PID]]方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，[[PIRD框架]]能够精准捕捉到[[zero-lag PID]]无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于[[zero-lag PID]]方案。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的[[协同]]信息<math>S</math>,后者则由语言特征提供的[[特有]]信息<math>U_2</math>主导，[[协同]]信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于[[协同]]信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的[[协同]]信息<math>S</math>,后者则由语言特征提供的[[特有]]信息<math>U_2</math>主导，[[协同]]信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于[[协同]]信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
</syntaxhighlight>
</syntaxhighlight>
dit对信息类型进行编码如下：
dit对信息类型进行编码如下：