3,094
个编辑
更改
跳到导航
跳到搜索
第23行：
第23行： − 在信息熵与互信息的基础上，部分信息分解（Partial Information Decomposition）是信息论的进一步扩展，旨在将信息论所关注的成对关系拓展到多个变量间的复杂相互作用。+ − + − 这种传统测度局限性的一个体现就是变量间的协同效应：假设我们有两个独立的布尔变量作为源变量 <math>X_1, X_2 \in \{0,1\></math> 和一个通过对源变量进行抑或操作所得到的目标变量 <math>Y=XOR(X_1,X_2)</math>。在这种情况下，总互信息 <math>I(X_1,X_2;Y)=1</math>，而个体互信息 <math>I(X_1;Y)=I(X_2;Y)=0</math>。也就是说，<math>X_1,X_2</math> 关于 <math>Y</math> 的相互作用产生了协同信息，而这无法用经典信息论中的互信息或是信息熵量轻易捕捉到。+ − + 第39行：
第39行： − 此处各个信息原子定义为+ + − 其中 <math>\text{Red}(X_1,X_2;Y) + \text{Unq}(X_1;Y \setminus X_2) = I(X_1;Y)</math> , <math>\text{Red}(X_1,X_2;Y) + \text{Unq}(X_2;Y \setminus X_2) = I(X_2;Y)</math>。+ + + + − 信息分解除了能够被韦恩图所直观的呈现，更常被表示为晶格图的形式以在更多变量的情况下维持简洁的结构。晶格图（lattice）是抽象代数中研究的一种抽象结构，它由一个偏序集组成。信息分解所得到的信息原子也可以被描述为一组冗余晶格。该晶格图包含了由源变量集合的所有非空子集所组合构成的所有（无重复变量的）集合，每一个这种集合对应了一个节点。+ + + − + + + +
→部分信息分解
=== 部分信息分解 ===
=== 部分信息分解 ===
在[[信息熵]]与[[互信息]]的基础上，[[部分信息分解]]（Partial Information Decomposition）是信息论的进一步扩展，旨在将信息论所关注的成对关系拓展到多个变量间的复杂相互作用。
在两变量场景下，信息论可以通过相互信息 <math>I(X_1;Y)</math> 量化单个源变量 <math>X_1</math> 对目标变量 <math>Y</math> 的信息量。如果我们考虑加入第三个变量 <math>X_2</math>并探讨其中某一变量与另两个变量的关系时，经典信息论则只能描述联合变量 <math>\{X_1,X_2\></math> 与 <math>Y</math> 的相互信息，由 <math>I(X_1,X_2;Y)</math> 给出，而无法深入探究 <math>X_1</math> 和 <math>X_2</math> 及其相互作用与 <math>Y</math> 间存在何种关系。
在两变量场景下，信息论可以通过相互信息 <math>I(X_1;Y)</math> 量化单个源变量 <math>X_1</math> 对目标变量 <math>Y</math> 的信息量。如果我们考虑加入第三个变量 <math>X_2</math>并探讨其中某一变量与另两个变量的关系时，经典信息论则只能描述联合变量 <math>\{X_1,X_2\}</math> 与 <math>Y</math> 的相互信息，由 <math>I(X_1,X_2;Y)</math> 给出，而无法深入探究 <math>X_1</math> 和 <math>X_2</math> 及其相互作用与 <math>Y</math> 间存在何种关系。
这种传统测度局限性的一个体现就是变量间的[[协同效应]]：假设我们有两个独立的布尔变量作为源变量 <math>X_1, X_2 \in \{0,1\}</math> 和一个通过对源变量进行'''异或'''操作所得到的目标变量 <math>Y=XOR(X_1,X_2)</math>。在这种情况下，总互信息 <math>I(X_1,X_2;Y)=1</math>，而个体互信息 <math>I(X_1;Y)=I(X_2;Y)=0</math>。也就是说，<math>X_1,X_2</math> 关于 <math>Y</math> 的相互作用产生了协同信息，而这无法用经典信息论中的互信息或是信息熵轻易捕捉到。
对于更加一般的三变量场景而言，部分信息分解将源变量 <math>\{X_1,X_2\></math> 与目标变量 <math>Y</math> 之间的互信息分解为如下图所示的四个部分：
对于更加一般的三变量场景而言，部分信息分解将源变量 <math>\{X_1,X_2\}</math> 与目标变量 <math>Y</math> 之间的互信息分解为如下图所示的四个部分：
[[文件:PID_Venn.png|替代=|无框]]
[[文件:PID_Venn.png|替代=|无框]]
此处各个符号的定义为
*<math>\text{Unq}(X_1;Y \setminus X_2)</math> 表示[[特有信息]]，是指每一个微观态变量单独给宏观态提供的信息：<math>X_1</math> 具有的关于 <math>Y</math> 的“独特”信息，而 <math>X_2</math> 中没有这些信息。
*<math>\text{Unq}(X_1;Y \setminus X_2)</math> 表示[[特有信息]]，是指每一个微观态变量单独给宏观态提供的信息：<math>X_1</math> 具有的关于 <math>Y</math> 的“独特”信息，而 <math>X_2</math> 中没有这些信息。
*<math>\text{Syn}(X_1,X_2;Y)</math> 表示[[协同信息]]，是指所有微观态 <math>X_1</math> 和 <math>X_2</math> 联合在一起给宏观态 <math>Y</math> 提供的信息。
*<math>\text{Syn}(X_1,X_2;Y)</math> 表示[[协同信息]]，是指所有微观态 <math>X_1</math> 和 <math>X_2</math> 联合在一起给宏观态 <math>Y</math> 提供的信息。
*<math>\text{Red}(X_1,X_2;Y)</math> 表示[[冗余信息]]，是指两个微观态<math>X^1 </math>和<math>X^2 </math>重复地给宏观态 <math>Y</math> 的“冗余”信息。
*<math>\text{Red}(X_1,X_2;Y)</math> 表示[[冗余信息]]，是指两个微观态<math>X^1 </math>和<math>X^2 </math>重复地给宏观态 <math>Y</math> 的“冗余”信息。
它们每一项都称为一个[[信息原子]]。
并且，这些信息原子满足如下约束关系：
<math>
\text{Red}(X_1,X_2;Y) + \text{Unq}(X_1;Y \setminus X_2) = I(X_1;Y)
</math>,
<math>
\text{Red}(X_1,X_2;Y) + \text{Unq}(X_2;Y \setminus X_2) = I(X_2;Y)
</math>
以两变量 <math>\{X_1,X_2\}</math> 为例，集合 <math> \{1,2\} </math>的所有非空子集包含 <math> \{1,2\} \quad \{2\} </math>和 <math> \{1\} </math>，因此所能构成的无重复变量的集合包括 <math>\{\{1,2\}\}</math> <math>\{\{2\}\}</math> <math>\{\{1\}\}</math> 和 <math>\{\{1\}\{2\}\}</math>。如下图所示，这些反链（anti-chain）与上图的信息原子一一对应，既<math>\{\{1,2\}\}</math> 对应协同信息，<math>\{\{2\}\}</math> 和 <math>\{\{1\}\}</math> 对应特有信息，<math>\{\{1\}\{2\}\}</math>对应冗余信息。
信息分解除了能够被韦恩图所直观的呈现以外，更常被表示为晶格图的形式以在更多变量的情况下维持其简洁的结构。晶格图（lattice）是抽象代数中研究的一种抽象结构，它由一个偏序集组成。信息分解所得到的信息原子也可以被描述为一种晶格结构，这一晶格结构被称为[[冗余晶格]]。该晶格图包含了由源变量集合的所有非空子集所组合构成的所有（无重复变量的）集合，每一个这种集合对应了一个节点。
以两变量 <math>\{X_1,X_2\}</math> 为例，集合 <math> \{1,2\} </math>的所有非空子集包含 <math> \{1,2\} \quad \{2\} </math>和 <math> \{1\} </math>，因此所能构成的无重复变量的集合包括 <math>\{\{1,2\}\}</math> <math>\{\{2\}\}</math> <math>\{\{1\}\}</math> 和 <math>\{\{1\}\{2\}\}</math>。如下图所示，这些[[反链]]（anti-chain）与上图的信息原子一一对应，既<math>\{\{1,2\}\}</math> 对应协同信息，<math>\{\{2\}\}</math> 和 <math>\{\{1\}\}</math> 对应特有信息，<math>\{\{1\}\{2\}\}</math>对应冗余信息。
[[文件:Lattice_of_2.png|替代=|无框]]
[[文件:Lattice_of_2.png|替代=|无框]]