更改

在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式

在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式

<nowiki>H(X_1,X_2) = H_{\partial}(\{{X}_1\},\</nowiki><nowiki>{{X}_2\}) + H_{\partial}{\{X_1\}}</nowiki> + H_{\partial}(\{X_2\}) + H_{\partial}(\{X_1,X_2\})

<math>H(X_1,X_2) = H_{\partial}(\{{X}_1\},\{{X}_2\}) + H_{\partial}{\{X_1\}} + H_{\partial}(\{X_2\}) + H_{\partial}(\{X_1,X_2\})</math>

H(X_1) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_1\})

<math>H(X_1) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_1\})</math>

H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})

<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>

进一步有

进一步有

I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})

<math>I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})</math>

 

PED框架揭示了这样的事实：在更复杂的情景中，双变量互信息结构会变得更加复杂

PED框架揭示了这样的事实：在更复杂的情景中，双变量互信息结构会变得更加复杂

例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息I(X_1;X_2)

例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息<math>I(X_1;X_2)</math>

I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}\{X_3\})+H_{\partial}(\{X_1\}\{X_2\})

<math>I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}\{X_3\})+H_{\partial}(\{X_1\}\{X_2\})</math>

-H_{\partial}(\{X_3\}\{X_1,X_2\})-H_{\partial}(\{X_1,X_2\}\{X_1,X_3\}\{X_2,X_3\})

<math>-H_{\partial}(\{X_3\}\{X_1,X_2\})-H_{\partial}(\{X_1,X_2\}\{X_1,X_3\}\{X_2,X_3\})</math>

-H_{\partial}(\{X_1,X_2\})

<math>-H_{\partial}(\{X_1,X_2\})</math>

从而可发现：

从而可发现：

双变量互信息不仅包含了三个变量间的冗余熵H_{\partial}(\{X_1\}\{X_2\}\{X_3\}),还对X_1和X_2联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。

双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。

在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。

在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。