216
个编辑
更改
跳到导航
跳到搜索
第879行：
第879行： − （增补内容）+ + + + + + + + + + + + + + +
→广义信息分解
=== 广义信息分解 ===
=== 广义信息分解 ===
广义信息分解（GID）是一种基于Kullback-Leibler散度的信息分解框架，由Varley于2024年提出，旨在放松部分信息分解（PID）中“输入-输出”结构的限制，实现对任意概率分布间信息差异的精细化分解。
核心思想：GID将KL散度表示为局部熵差的期望：
<math>[DKL(P∥Q)=EP(X)[hQ(x)−hP(x)]</math>
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
<math>DKLP∥Q(α)=EP(X)[hQ(α)−hP(α)]</math>
从而将总KL散度分解为所部分熵原子的和：
<math>D_KL(P∥Q)= α∈A∑D KLP∥Q(α)</math>
PID是GID的一个特例，当将互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，GID退化为标准PID。此外，GID可通过PED构造，而PED本身也是PID在“部分-整体”信息分解中的特殊情形。
=== 整合信息分解(ΦID) ===
=== 整合信息分解(ΦID) ===