175
个编辑
更改
跳到导航
跳到搜索
第4行：
第4行： − + 第32行：
第32行： − 这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。+ 第45行：
第45行： − + 第71行：
第71行： − 总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。+ 第206行：
第206行： − + 第221行：
第221行： − + 第239行：
第239行： − + 第248行：
第248行： − + 第402行：
第402行： − 从PID的两源变量框架的算例中可知，若想清楚地分解源变量组与接收变量间的传输信息结构，需要先分析清楚冗余;对于冗余结构更为复杂的多元变量情形，PID框架的作者发展出了相应的冗余晶格理论。+ 第501行：
第501行： − + 第541行：
第541行： − + 第555行：
第555行： − 此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。冗余信息可以另写为<math> \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)</math>。协同信息可以另写为 <math>\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)</math>。+ 第606行：
第606行： − James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点特有性、冗余性和协同性，得到点对点特有、冗余和协同信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：唯一信息定义为可以获得的最小条件相互信息，同时保持输入-输出边际固定。+ 第643行：
第643行： − + − + − + 第658行：
第658行： − + 第703行：
第703行： − 其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过Mobius反演构建冗余格。+ 第759行：
第759行： − + − + − + − 双重冗余格上定义了偏序关系+ 第777行：
第777行： − + 第787行：
第787行： − + 第824行：
第824行： − + 第912行：
第912行： − 为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，研究者们提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法。+ 第946行：
第946行： − + 第956行：
第956行： − + 第1,166行：
第1,166行： − +
无编辑摘要
是被广泛使用的一个概念，其是由熵的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
是被广泛使用的一个概念，其是由熵的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以在给定冗余函数后，将源变量组与目标变量的互信息分解为若干部分信息原子。他们的思路是首先给出了'''冗余 Redundancy'''的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''冗余晶格 lattice'''来阐明多变量信息的一般结构。后利用这个冗余晶格提出了其余两种'''部分信息原子 Partial Information Atoms'''（独特信息和协同信息）的定义，并以例子说明了他们构建的'''部分信息分解 Partial Information Decomposition'''(简称PID)框架能够将多变量系统中信息源对结果变量提供的贡献分解为信息原子的组合。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供信息分成三个部分——冗余，特有，协同以在给定冗余函数后，将源变量组与目标变量的互信息分解为若干部分信息原子。他们的思路是首先给出了'''冗余 Redundancy'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''冗余晶格 lattice'''来阐明多变量信息的一般结构。后利用这个冗余晶格提出了其余两种'''部分信息原子 Partial Information Atoms'''（独特信息和协同信息）的定义，并以例子说明了他们构建的'''部分信息分解 Partial Information Decomposition'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。
== 相关概念 ==
== 相关概念 ==
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>I(X_1,X_2,\dots,X_n ; Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
这种源变量组对目标变量传输的信息量正是PID框架要分解的对象。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在后文中我们会看到，不论是总相关性、McGill交互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
在单一源的情形下，两个随机变量的[[互信息]]是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系。在后文中我们会看到，不论是总相关性、McGill交互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的冗余、独特和协同贡献。
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的冗余、特有和协同贡献。
=== 条件互信息 ===
=== 条件互信息 ===
总相关性量化了目标变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——譬如，在下面例子中所展示的高阶冗余交互作用。
'''例：三变量情形的高阶交互冗余（待修改）'''
'''例：三变量情形的高阶交互冗余（待修改）'''
两源变量PID框架的基本构成如下：
两源变量PID框架的基本构成如下：
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的接收变量,<math>S_1,S_2</math>为信道中的信源变量
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的目标变量,<math>S_1,S_2</math>为信道中的源变量
部分信息原子包括如下三个部分:
部分信息原子包括如下三个部分:
'''独特信息(Un)''':仅源变量<math>S_1,S_2</math>中的一个自身可以向<math>T</math>目标提供,而另一个无法提供的信息。
'''特有信息(Un)''':仅源变量<math>S_1,S_2</math>中的一个自身可以向<math>T</math>目标提供,而另一个无法提供的信息。
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
从维恩图中显而易见的还有如下两组等式等式成立：
从维恩图中显而易见的还有如下两组等式等式成立：
1. 某一源向接收变量传递的信息由其独特和冗余构成
1. 某一源向目标变量传递的信息由其独特和冗余构成
<math>I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2)</math>
<math>I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2)</math>
2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成
2. 某一源向和目标变量组（整体）传递的信息由独特和协同构成
<math>I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2)</math>
<math>I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2)</math>
从PID的两源变量框架的算例中可知，若想清楚地分解源变量组与目标变量间的传输信息结构，需要先分析清楚冗余;对于冗余结构更为复杂的多元变量情形，PID框架的作者发展出了相应的冗余晶格理论。
=== 冗余晶格 ===
=== 冗余晶格 ===
Griffith 等基于 Gács–Körner common random variable 提出交集信息，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
Griffith 等基于 Gács–Körner common random variable 提出交集信息，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个预测变量 <math>X_1,\dots,X_n</math>的函数:
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个源变量 <math>X_1,\dots,X_n</math>的函数:
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
从 <math> S_1 </math>到 <math>T</math>给定<math> S_2</math>的独特信息为
从 <math> S_1 </math>到 <math>T</math>给定<math> S_2</math>的特有信息为
<math>\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).</math>
<math>\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).</math>
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>
此外，除了使用特有信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。冗余信息可以另写为<math> \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)</math>。协同信息可以另写为 <math>\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)</math>。
===kolchinsky===
===kolchinsky===
===其他方法===
===其他方法===
James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余晶格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点特有性、冗余性和协同性，得到点对点特有、冗余和协同信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：唯一信息定义为可以获得的最小条件相互信息，同时保持输入-输出边际固定。
===不同方法的比较===
===不同方法的比较===
Lyu、Clark 与 Raviv 指出，在三源及以上情形，若坚持传统 反链格表示并要求若干自然的一致性条件，会出现子系统不一致或表示性障碍。这意味着，即便两个系统具有相同的冗余格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu、Clark 与 Raviv 指出，在三源及以上情形，若坚持传统 反链格表示并要求若干自然的一致性条件，会出现子系统不一致或表示性障碍。这意味着，即便两个系统具有相同的冗余晶格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu、Clark 与 Raviv等研究者认为,基于冗余格结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在PID框架中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整反链格原子分解，而直接定义多源 unique、(K)-阶 synergy、total synergy 等可解释量
Lyu、Clark 与 Raviv等研究者认为,基于冗余晶格结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在PID框架中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整反链格原子分解，而直接定义多源 unique、(K)-阶 synergy、total synergy 等可解释量
=== PID框架在应用层面的局限 ===
=== PID框架在应用层面的局限 ===
PID 框架的在实际应用中的核心问题集中在冗余格中的信息原子带来的计算可行性问题上，具体地说，是由多元情况下冗余格中的信息原子数目过大带来的计算困难上。
PID 框架的在实际应用中的核心问题集中在冗余晶格中的信息原子带来的计算可行性问题上，具体地说，是由多元情况下冗余晶格中的信息原子数目过大带来的计算困难上。
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，8个源节点时，部分信息项的数目已达到<math>10^{22}</math>量级，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文中设想的方式高效计算，这使得PID框架适用的复杂系统规模极为受限。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，8个源节点时，部分信息项的数目已达到<math>10^{22}</math>量级，此时Dedekind数已无法手动计算出，冗余晶格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文中设想的方式高效计算，这使得PID框架适用的复杂系统规模极为受限。
== PID框架的发展 ==
== PID框架的发展 ==
其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A}，\mathcal{A}</math>是单一目标冗余格，其二是用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余晶格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A}，\mathcal{A}</math>是单一目标冗余晶格，其二是用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
'''双重冗余格'''：
'''双重冗余晶格'''：
取<math>\mathcal{A} = \{ \{1\},\{2\},\{1,2\},\{\{1\}\{2\}\}\}</math>，由其生成的双重冗余格结构如下图所示,
取<math>\mathcal{A} = \{ \{1\},\{2\},\{1,2\},\{\{1\}\{2\}\}\}</math>，由其生成的双重冗余晶格结构如下图所示,
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]
图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称双冗余原子
图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称双冗余原子
双重冗余晶格上定义了偏序关系
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'</math>
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'</math>
'''双重冗余函数'''：
'''双重冗余函数'''：
双重冗余函数<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对双重冗余格中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
双重冗余函数<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对双重冗余晶格中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
与单目标PID的情况不同,双重冗余格并源自冗余函数，而是通过边际格的乘积自然形成。
与单目标PID的情况不同,双重冗余晶格并源自冗余函数，而是通过边际格的乘积自然形成。
== PID框架应用研究 ==
== PID框架应用研究 ==
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
<math>\mathcal{D}^{(k)}与\mathcal{G}^{(k)}</math>分别由PID框架中的独特信息原子刻画，其中<math>\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})</math>
<math>\mathcal{D}^{(k)}与\mathcal{G}^{(k)}</math>分别由PID框架中的特有信息原子刻画，其中<math>\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})</math>
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
为了解决高维系统中冗余晶格原子数随源变量数目超指数增长的问题，研究者们提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余晶格的结构进行粗粒化的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>主导，协同信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的特有信息<math>U_2</math>主导，协同信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
首先我们有两个源变量<math>X_1</math>和<math>X_2</math>(它们都是二进制的)和一个目标变量Y，Y是关于这些源变量的布尔运算。所有测量部分信息的形式都将由Williams和Beer提供，但其他作者提出的其他形式也可以在dit中进行。
首先我们有两个源变量<math>X_1</math>和<math>X_2</math>(它们都是二进制的)和一个目标变量Y，Y是关于这些源变量的布尔运算。所有测量部分信息的形式都将由Williams和Beer提供，但其他作者提出的其他形式也可以在dit中进行。
1.独特信息
1.特有信息
在这个例子中，假设目标变量Y由下表给出。请注意，输出总是等于<math>X_1</math>，因此<math>X_2</math>完全无关紧要。
在这个例子中，假设目标变量Y由下表给出。请注意，输出总是等于<math>X_1</math>，因此<math>X_2</math>完全无关紧要。
5.PID原文:Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.'', 2010.''
5.PID原文:Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.'', 2010.''
6.Lyu AoBo等研究者对PID框架冗余格结构的批评:R. Wibral, J. T. Lizier, and P. L. Williams, "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures," Phys. Rev. E 105, 014101 (2022). <nowiki>https://doi.org/10.1103/PhysRevE.105.014101</nowiki>
6.Lyu AoBo等研究者对PID框架冗余晶格结构的批评:R. Wibral, J. T. Lizier, and P. L. Williams, "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures," Phys. Rev. E 105, 014101 (2022). <nowiki>https://doi.org/10.1103/PhysRevE.105.014101</nowiki>
7.~G-PVenkatesh, P., Bennett, C., Gale, S., Ramirez, T., Heller, G., Durand, S., Olsen, S., & Mihalas, S. (2023). Gaussian partial information decomposition: Bias correction and application to high-dimensional data. In H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, & H. Lin (Eds.), ''Advances in Neural Information Processing Systems'' (Vol. 36, pp. 50409–50422). Curran Associates.ciates,
7.~G-PVenkatesh, P., Bennett, C., Gale, S., Ramirez, T., Heller, G., Durand, S., Olsen, S., & Mihalas, S. (2023). Gaussian partial information decomposition: Bias correction and application to high-dimensional data. In H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, & H. Lin (Eds.), ''Advances in Neural Information Processing Systems'' (Vol. 36, pp. 50409–50422). Curran Associates.ciates,