216
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − − − − + − − 除理论定义的困难外，对于变量数量较多或状态空间较大的系统，直接实施原始 PID 分析往往成本较高。为此，研究者们提出了适用于连续变量或高斯变量等特定条件的扩展方法，以在保留部分信息分解思想的同时提高计算可行性。 第186行：
第181行： − + 第605行：
第600行： − −
→两源变量PID框架与部分信息原子
部分信息分解（Partial Information Decomposition, PID）是用于刻画多个信源如何共同提供关于某个目标变量的信息的多变量信息论框架，由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。PID框架的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——冗余、特有与协同。
部分信息分解（Partial Information Decomposition, PID）是用于刻画多个信源如何共同提供关于某个目标变量的信息的多变量信息论框架，由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。PID框架的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——冗余、特有与协同。
为使这一分解具有明确的数学基础，Williams 和 Beer 提出了一组约束冗余信息度量的公理，包括对称性、自冗余性及单调性，基于这些约束，可以构造以信源集合为节点的冗余晶格（redundancy lattice）。在给定具体冗余度量后，可通过 Möbius 反演求得晶格各节点对应的部分信息原子。
为使这一分解具有明确的数学基础，Williams 和 Beer 提出了一组约束冗余信息度量的公理，包括对称性、自冗余性及单调性，基于这些约束，可以构造以信源集合为节点的冗余晶格（redundancy lattice）。在给定具体冗余度量后，可通过 Möbius 反演求得晶格各节点对应的部分信息原子。
PID 的关键困难在于，如何定义一个同时具有良好理论性质和计算可行性的冗余信息度量。不同的冗余度量会导出不同的部分信息原子；当信源数增加时，局部非负性、恒等公理及 Williams–Beer 公理等要求之间也可能产生张力。因此，后续研究提出了多种 PID 变体和公理化方案，分别适用于不同的数据类型和研究问题。
PID 的关键困难在于，如何定义一个同时具有良好理论性质和计算可行性的冗余信息度量。不同的冗余度量会导出不同的部分信息原子；当信源数增加时，局部非负性、恒等公理及 Williams–Beer 公理等要求之间也可能产生张力。因此，后续研究提出了多种 PID 变体和公理化方案，分别适用于不同的数据类型和研究问题。
除理论定义的困难外，对于变量数量较多或状态空间较大的系统，直接实施原始 PID 分析往往成本较高。为此，研究者们提出了适用于连续变量或高斯变量等特定条件的扩展方法，以在保留部分信息分解思想的同时提高计算可行性。
尽管仍存在冗余度量选择、理论性质协调与大规模计算等问题，PID 已成为研究复杂系统、因果科学、脑与神经科学及人工智能的重要工具。它使研究者能够进一步追问：不同信息来源究竟以冗余、特有还是协同的方式，共同影响目标变量。
尽管仍存在冗余度量选择、理论性质协调与大规模计算等问题，PID 已成为研究复杂系统、因果科学、脑与神经科学及人工智能的重要工具。它使研究者能够进一步追问：不同信息来源究竟以冗余、特有还是协同的方式，共同影响目标变量。
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
[[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中|图:以韦恩图展示的两源变量情形下的部分信息分解框架的分解对象，分解构成。]]
[[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中|图:以韦恩图展示的两源变量情形下的部分信息分解框架的分解对象，分解构成。|缩略图|440x440像素]]
部分信息原子包括如下三个部分:
部分信息原子包括如下三个部分:
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
</math>为源变量数。
</math>为源变量数。
这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。
这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。