216
个编辑
更改
→广义信息分解
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
<math>D_{KL}^{(P||Q)}(\mathbf{alpha})= \mathbb{E}_{P(x)}[h^{Q}_{\partial}(\alpha) - h^{P}_{partial}(\alpha)}</math>
<math>D_{KL}^{P||Q}(\mathbf{\alpha}) = \mathbb{E}_{P(X)}[h_{\partial}^{Q}(\mathbf{\alpha}) - h_{\partial}^{P}(\mathbf{\alpha})]</math>
从而将总KL散度分解为所部分熵原子的和：
从而将总KL散度分解为所部分熵原子的和：
<math>D_{KL}(P||Q) = \sum_{\alpha \in \mathfrak(A)}D_{KL}^{P|||Q}(\alpha)</math>
<math>D_{KL}(P||Q) = \sum_{\alpha \in \mathfrak(A)}D_{KL}^{P|||Q}(\alpha)</math>
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。—即当分解“部分”所揭示的关于“整体”的信息时的特殊情况。在某种意义上，它们都是基础性的，同时又都可以相互构建。
=== 整合信息分解(ΦID) ===
=== 整合信息分解(ΦID) ===
'''双重冗余晶格'''：
'''双重冗余晶格'''：
取<math>\mathcal{A} = \{ \{1\},\{2\},\{1,2\},\{\{1\}\{2\}\}\}</math>，由其生成的双重冗余晶格结构如下图所示,
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的双重冗余晶格结构如下图所示,
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]