更改

部分信息分解 (查看源代码)

2026年10月22日 (四) 17:11的版本

添加116字节、 2026年10月22日 (星期四)

→‎互信息与条件互信息

第109行：第109行：

其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的[[动力系统]]<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>

−

~~但车无法启动~~,~~电池工作良好，则可推出发动机故障，从而：~~

+

但车无法启动，意味着X已,，则可推出发动机故障，从而：

第165行：第165行：

如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的互信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：

−

[[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中|图:以韦恩图展示的两源变量情形下的部分信息分解框架的分解对象，分解构成。|缩略图|440x440像素]]

+

[[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中|图3:以韦恩图展示的两源变量情形下的部分信息分解框架的分解对象，分解构成。|缩略图|440x440像素]]

部分信息原子包括如下三个部分:

第428行：第428行：

\end{equation}

将此偏序应用于<math>\mathcal{A}(S)</math>的元素，便得到[[冗余晶格]]（redundancy lattice）(见下图展示了三源变量的[[冗余晶格]]结构和其对应的韦恩图)，该偏序给出了不同反链之间的包含关系；[[冗余函数]]在该偏序上是单调的，进而可通过[[莫比乌斯反演]]定义[[部分信息原子]]。

−

[[文件:图片qsqs2.png|居中|缩略图|400x400px|三源变量的信息结构，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Lyu_do_PID" />|替代=]]

+

[[文件:图片qsqs2.png|居中|缩略图|400x400px|图4:三源变量的信息结构，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Lyu_do_PID" />|替代=]]

下面，集智百科将介绍构建三源变量的冗余晶格的思路：

首先图中的节点含义类比两源变量系统可做如下近似理解（注：这些节点可在两源变量系统中直观对应[[特有]]、[[冗余]]、[[协同]]成分，但在三源以上不能简单逐字解释为某一种日常意义上的信息类型）：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的[[协同]]信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的[[冗余]]信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的[[冗余]]信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息：<math>\{12\}\{13\}\{23\}</math> ；变量12的[[协同]]信息和变量23的[[协同]]信息间存在的[[冗余]]信息：<math>\{12\}\{23\}</math>。

−

[[文件:三源系统的冗余格结构.png|居中|缩略图|531x531像素|三源变量冗余晶格，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]

+

[[文件:三源系统的冗余格结构.png|居中|缩略图|531x531像素|图5:三源变量冗余晶格，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]

然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的[[冗余]]信息放在最下层开始，比这个区域多一些信息的区域是两变量间的[[冗余]]信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量[[冗余]]晶格。

第459行：第459行：

===其余信息原子计算实例===

−

[[文件:图片2wqqdde.png|缩略图|居中|400x400px|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果|替代=]]

+

[[文件:图片2wqqdde.png|缩略图|居中|400x400px|图6：<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果|替代=]]

为了更具体地理解这些概念，我们来看上图中的例子。由于该分布具有对称性，显然 <math>S_1</math> 和 <math>S_2</math> 提供的信息量是相同的。实际上，可以验证：

第640行：第640行：

{| class="wikitable"

+

! colspan="2" |表3：系统取不同信源数对应的部分信息原子规模

+

|-

! 信源数 <math>n</math>

! 部分信息原子数 <math>M(n)-2</math>

第726行：第728行：

在理想情况下，这些变换保持信息不变，并使 <math>(\widehat{X}_1,\widehat{Y})</math> 与 <math>(\widehat{X}_2,\widehat{Y})</math> 的潜在边缘分布接近高斯分布；随后可在潜在空间中使用 Thin-PID。

−

[[文件:FlowPID.png|居中|缩略图|800x800像素|Flow-PID 学习由流 f1×f2×fY 参数化的潜在高斯编码器，将输入模态 (X1, X2, Y) 转换为高斯边缘分布。然后，在与 GPID 等效的解释下，可以通过 Thin-PID 高效地计算 PID 值]]

+

[[文件:FlowPID.png|居中|缩略图|800x800像素|图7:Flow-PID 学习由流 f1×f2×fY 参数化的潜在高斯编码器，将输入模态 (X1, X2, Y) 转换为高斯边缘分布。然后，在与 GPID 等效的解释下，可以通过 Thin-PID 高效地计算 PID 值]]

Flow-PID的应用依赖于两个条件：一、所学习的变换应足够接近可逆且信息保持;二、变换后的目标—信源边缘分布应被高斯模型充分近似。若这些条件不能满足，所得 PID 估计可能出现偏差。

第795行：第797行：

取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的[[双重冗余晶格]]结构如下图所示,

−

[[文件:双重冗余格.png|替代=|居中|600x600像素|缩略图|由<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，生成的[[双重冗余晶格]]，每一个节点代表一个双重冗余原子。]]

+

[[文件:双重冗余格.png|替代=|居中|600x600像素|缩略图|图8：由<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，生成的[[双重冗余晶格]]，每一个节点代表一个双重冗余原子。]]

图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称[[双重冗余原子]]

第847行：第849行：

<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>

−

[[文件:信息原子与量化涌现.png|居中|600x600像素|替代=|缩略图|图:左 1阶因果解耦（顶点）和 1阶向下因果（右上）效应在双重冗余格中的对应位置；右因果涌现=因果解耦 + 向下因果分解示意图]]

+

[[文件:信息原子与量化涌现.png|居中|600x600像素|替代=|缩略图|图9:左 1阶因果解耦（顶点）和 1阶向下因果（右上）效应在双重冗余格中的对应位置；右因果涌现=因果解耦 + 向下因果分解示意图]]

该理论已在经典的[[涌现]]模型和脑科学研究中取得了成功应用。

第912行：第914行：

前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_{tn}};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);\mathbf{X}(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示

−

[[文件:ZL-PID-TE-PID.png|居中|替代=|缩略图|图:a(零时滞)[[zero-lag PID]]，和b(转移熵)[[transfer-entropy PID]] 和 c PIRD 要分解的信息类型示意图。]]

+

[[文件:ZL-PID-TE-PID.png|居中|替代=|缩略图|图10:a(零时滞)[[zero-lag PID]]，和b(转移熵)[[transfer-entropy PID]] 和 c PIRD 要分解的信息类型示意图。]]

从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。

第925行：第927行：

为了解决高维系统中冗余晶格原子数随源变量数目超指数增长带来的计算困难问题，研究者们提出了信息原子的贡献模式，将信息原子分为[[特有]]类，[[冗余]]类和[[协同]]类，对[[冗余晶格]]的结构进行[[粗粒化]]的计算方法。

−

[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|缩略图|图:PIRD粗粒化计算原理示意图。蓝色部分为协同类原子，灰色部分为特有类原字，红色部分为冗余类原子；a)协同类、特有类，冗余类原子在两源变量系统冗余格中的分布示意图 b)协同类、特有类，冗余类原子在三源变量系统冗余格中的分布示意图。]]

+

[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|缩略图|图11:PIRD粗粒化计算原理示意图。蓝色部分为协同类原子，灰色部分为特有类原字，红色部分为冗余类原子；a)协同类、特有类，冗余类原子在两源变量系统冗余格中的分布示意图 b)协同类、特有类，冗余类原子在三源变量系统冗余格中的分布示意图。]]

通过计算粗粒化分解式:<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>中的<math>\mathcal{U}_{Y;X_m}，\mathcal{R}_{Y;\mathbf{X}} ， \mathcal{S}_{Y;\mathbf{X}}</math>，使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。

王亦理

216

个编辑