216
个编辑
更改
跳到导航
跳到搜索
第703行：
第703行： − 部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。+ − + − − 其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。 第740行：
第738行： − 广义信息分解（GID）是一种基于Kullback-Leibler散度的信息分解框架，旨在放松部分信息分解（PID）中“输入-输出”结构的限制，实现对任意概率分布间信息差异的精细化分解。+ − + − + 第756行：
第754行： − PID是GID的一个特例，当将互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，GID退化为标准PID。此外，GID也可通过PED构造。+ +
→广义信息分解
=== 部分熵分解 ===
=== 部分熵分解 ===
部分熵分解（PED）框架是PID框架最直接的推广，其与标准的PID框架不同之处在于，PED框架不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、特有、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、特有、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
=== 广义信息分解 ===
=== 广义信息分解 ===
广义信息分解（GID）框架是一种基于Kullback-Leibler散度的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
GID的核心思想为：将KL散度表示为局部熵差的期望：
GID的核心思想为：将KL散度表示为局部熵差的期望：
<math>[D_KL(P||Q)=\mathbb{E}_{P(X)}[h^{Q}(x)−h^{P}(x)]</math>
<math>[D_{KL}(P||Q)=\mathbb{E}_{P(X)}[h^{Q}(x)−h^{P}(x)]</math>
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
结合可局部化的部分熵分解（PED），可定义每个部分熵原子的部分KL散度：
<math>D_{KL}^(P||Q)(\alpha)= \mathbb{E}_{P(x)[h^{Q}(x) - h^{P}(x)}</math>
<math>D_{KL}^{(P||Q)}(\mathbf{alpha})= \mathbb{E}_{P(x)}[h^{Q}_{\partial}(\alpha) - h^{P}_{partial}(\alpha)}</math>
从而将总KL散度分解为所部分熵原子的和：
从而将总KL散度分解为所部分熵原子的和：
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。—即当分解“部分”所揭示的关于“整体”的信息时的特殊情况。在某种意义上，它们都是基础性的，同时又都可以相互构建。
=== 整合信息分解(ΦID) ===
=== 整合信息分解(ΦID) ===