更改

部分信息分解（Partial Information Decomposition, PID）是用于刻画多个信源如何共同提供关于某个目标变量的信息的多变量信息论框架，由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。PID框架的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——冗余、特有与协同。

部分信息分解（Partial Information Decomposition, PID）是用于刻画多个信源如何共同提供关于某个目标变量的信息的多变量信息论框架，由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。PID框架的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——冗余、特有与协同。

为使这一分解具有明确的数学基础，Williams 和 Beer 提出了一组约束冗余信息度量的公理，包括对称性、自冗余性及单调性，基于这些约束，可以构造以信源集合为节点的冗余晶格（redundancy lattice）。在给定具体冗余度量后，可通过 Möbius 反演求得晶格各节点对应的部分信息原子。

为使这一分解具有明确的数学基础，Williams 和 Beer 提出了一组约束冗余信息度量的公理，基于这些约束，可以构造以信源集合为节点的冗余晶格（redundancy lattice）。在给定具体冗余度量后，可通过 Möbius 反演求得晶格各节点对应的部分信息原子。

PID 的关键困难在于，如何定义一个同时具有良好理论性质和计算可行性的冗余信息度量。不同的冗余度量会导出不同的部分信息原子；当信源数增加时，局部非负性、恒等公理及 Williams–Beer 公理等要求之间也可能产生张力。因此，后续研究提出了多种 PID 变体和公理化方案，分别适用于不同的数据类型和研究问题。

PID 的关键困难在于，如何定义一个同时具有良好理论性质和计算可行性的冗余信息度量。不同的冗余度量会导出不同的部分信息原子；当信源数增加时，局部非负性、恒等公理及 Williams–Beer 公理等要求之间也可能产生张力。因此，后续研究者提出了多种 PID 变体和公理化方案，分别适用于不同的数据类型和研究问题。

除理论定义的困难外，对于变量数量较多或状态空间较大的系统，直接实施原始 PID 分析往往成本较高。为此，研究者们提出了适用于连续变量或高斯变量等特定条件的扩展方法，以在保留部分信息分解思想的同时提高计算可行性。

除理论定义的困难外，对于变量数量较多或状态空间较大的系统，直接实施原始 PID 分析往往成本较高。为此，研究者们提出了适用于连续变量或高斯变量等特定条件的扩展方法，以在保留部分信息分解思想的同时提高计算可行性。

\end{equation}

\end{equation}

将此偏序应用于<math>\mathcal{A}(S)</math>的元素，便得到[[冗余晶格]]（redundancy lattice）(见下图展示了三源变量的[[冗余晶格]]结构和其对应的韦恩图)，该偏序给出了不同反链之间的包含关系；[[冗余函数]]在该偏序上是单调的，进而可通过[[莫比乌斯反演]]定义[[部分信息原子]]。

将此偏序应用于<math>\mathcal{A}(S)</math>的元素，便得到[[冗余晶格]]（redundancy lattice）(见下图展示了三源变量的[[冗余晶格]]结构和其对应的韦恩图)，该偏序给出了不同反链之间的包含关系；[[冗余函数]]在该偏序上是单调的，进而可通过[[莫比乌斯反演]]定义[[部分信息原子]]。

[[文件:图片qsqs2.png|居中|缩略图|600x600像素|三源变量的信息结构，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Lyu_do_PID" />]]

[[文件:图片qsqs2.png|居中|缩略图|400x400px|三源变量的信息结构，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Lyu_do_PID" />|替代=]]

下面，集智百科将介绍构建三源变量的冗余晶格的思路：

下面，集智百科将介绍构建三源变量的冗余晶格的思路：

首先图中的节点含义类比两源变量系统可做如下近似理解（注：这些节点可在两源变量系统中直观对应[[特有]]、[[冗余]]、[[协同]]成分，但在三源以上不能简单逐字解释为某一种日常意义上的信息类型）：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的[[协同]]信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的[[冗余]]信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的[[冗余]]信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的[[协同]]信息和变量23的[[协同]]信息间存在的[[冗余]]信息：<math>\{12\}\{23\}</math>。

首先图中的节点含义类比两源变量系统可做如下近似理解（注：这些节点可在两源变量系统中直观对应[[特有]]、[[冗余]]、[[协同]]成分，但在三源以上不能简单逐字解释为某一种日常意义上的信息类型）：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的[[协同]]信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的[[冗余]]信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的[[冗余]]信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的[[协同]]信息和变量23的[[协同]]信息间存在的[[冗余]]信息：<math>\{12\}\{23\}</math>。

[[文件:24234234224.png|居中|缩略图|771x771像素|三源变量冗余晶格，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]

[[文件:三源系统的冗余格结构.png|居中|缩略图|531x531像素|三源变量冗余晶格，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]

然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的[[冗余]]信息放在最下层开始，比这个区域多一些信息的区域是两变量间的[[冗余]]信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量[[冗余]]晶格。

然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的[[冗余]]信息放在最下层开始，比这个区域多一些信息的区域是两变量间的[[冗余]]信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量[[冗余]]晶格。

===其余信息原子计算实例===

===其余信息原子计算实例===

[[文件:图片2wqqdde.png|缩略图|居中|600x600像素|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果]]

[[文件:图片2wqqdde.png|缩略图|居中|400x400px|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果|替代=]]

为了更具体地理解这些概念，我们来看上图中的例子。由于该分布具有对称性，显然 <math>S_1</math> 和 <math>S_2</math> 提供的信息量是相同的。实际上，可以验证：

为了更具体地理解这些概念，我们来看上图中的例子。由于该分布具有对称性，显然 <math>S_1</math> 和 <math>S_2</math> 提供的信息量是相同的。实际上，可以验证：

在理想情况下，这些变换保持信息不变，并使 <math>(\widehat{X}_1,\widehat{Y})</math> 与 <math>(\widehat{X}_2,\widehat{Y})</math> 的潜在边缘分布接近高斯分布；随后可在潜在空间中使用 Thin-PID。

在理想情况下，这些变换保持信息不变，并使 <math>(\widehat{X}_1,\widehat{Y})</math> 与 <math>(\widehat{X}_2,\widehat{Y})</math> 的潜在边缘分布接近高斯分布；随后可在潜在空间中使用 Thin-PID。

[[文件:FlowPID.png|居中|缩略图|800x800像素]]

[[文件:FlowPID.png|居中|缩略图|800x800像素|Flow-PID 学习由流 f1×f2×fY 参数化的潜在高斯编码器，将输入模态 (X1, X2, Y) 转换为高斯边缘分布。然后，在与 GPID 等效的解释下，可以通过 Thin-PID 高效地计算 PID 值]]

Flow-PID的应用依赖于两个条件：一、所学习的变换应足够接近可逆且信息保持;二、变换后的目标—信源边缘分布应被高斯模型充分近似。若这些条件不能满足，所得 PID 估计可能出现偏差。

Flow-PID的应用依赖于两个条件：一、所学习的变换应足够接近可逆且信息保持;二、变换后的目标—信源边缘分布应被高斯模型充分近似。若这些条件不能满足，所得 PID 估计可能出现偏差。