216
个编辑
更改
→广义信息分解
=== 广义信息分解 ===
=== 广义信息分解 ===
广义信息分解（GID）是一种基于Kullback-Leibler散度的信息分解框架，由Varley于2024年提出，旨在放松部分信息分解（PID）中“输入-输出”结构的限制，实现对任意概率分布间信息差异的精细化分解。
广义信息分解（GID）是一种基于Kullback-Leibler散度的信息分解框架，旨在放松部分信息分解（PID）中“输入-输出”结构的限制，实现对任意概率分布间信息差异的精细化分解。
GID的核心思想为：将KL散度表示为局部熵差的期望：
<math>[DKL(P∥Q)=EP(X)[hQ(x)−hP(x)]</math>
<math>[D_KL(P||Q)=\mathbb{E}_{P(X)}[h^{Q}(x)−h^{P}(x)]</math>
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
<math>DKLP∥Q(α)=EP(X)[hQ(α)−hP(α)]</math>
<math>D_{KL}^(P||Q)(\alpha)= \mathbb{E}_{P(x)[h^{Q}(x) - h^{P}(x)}</math>
从而将总KL散度分解为所部分熵原子的和：
从而将总KL散度分解为所部分熵原子的和：
<math>D_KL(P∥Q)= α∈A∑D KLP∥Q(α)</math>
<math>D_{KL}(P||Q) = \sum_{\alpha \in \mathfrak(A)}D_{KL}^{P|||Q}(\alpha)</math>
PID是GID的一个特例，当将互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，GID退化为标准PID。此外，GID可通过PED构造，而PED本身也是PID在“部分-整体”信息分解中的特殊情形。
PID是GID的一个特例，当将互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，GID退化为标准PID。此外，GID也可通过PED构造
=== 整合信息分解(ΦID) ===
=== 整合信息分解(ΦID) ===