讨论:NIS

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
相信未来讨论 | 贡献2024年9月1日 (日) 17:55的版本
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳到导航 跳到搜索
  • NIS(神经信息压缩器)是一个以最大化粗粒化过程中有效信息的神经网络框架。

NIS的提出实际上是为了解决因果涌现辨识问题的。而且,NIS虽然力图最大化EI,但第一个版本并没有真正实现这个目标。

  • 它由可逆神经网络组成,分为编码器、解码器、动力学学习器三部分

NIS的这三部分并不都是可逆的,只有编码解码器可逆,而且这两个共享同一个神经网络。

  • 琐碎的策略

建议用 平凡解 来作对应的中文名词

  • 数学框架:最大化EI

这里感觉因果容量没说清楚。改变输入概率分布和改变干预分布的区别是什么?(所以因果容量和信道容量有区别吗?)另外,后面又提到宏观态和最大熵分布,这和因果容量是什么关系?

  • 在这种粗粒化之后,二者都试图最大化由此产生的有效信息量

这里的有效信息量不是很明白,它应该不是 effective information, 最好可以在行文中区分开这两个概念。

  • 神经网络框架

图中粗粒化策略的符号有问题。

  • NIS并未真正地最小化有效信息

最大化


信道具有一定的容量,即将输入以最具信息性和可靠性转换为输出的能力。通过信道传输的信息速率对输入概率分布[math]\displaystyle{ p(X) }[/math]的变化非常敏感。通道的容量([math]\displaystyle{ C }[/math])由最大化互信息的输入集合定义,即信道可靠传输信息的最大速率:

[math]\displaystyle{ C = max _{p(X)} I(X;\mathcal{Y}) }[/math]

因果涌现理论揭示了系统的类似因果容量。因果容量(CC)是系统以最具信息性和高效性的方式将干预转化为效应的能力:

[math]\displaystyle{ CC = max _{I_D}(I_D;E_D). }[/math]

正如改变通道的输入概率分布[math]\displaystyle{ p(X) }[/math]可以增加[math]\displaystyle{ I(X;Y) }[/math],改变干预分布l可以增加[math]\displaystyle{ I_D }[/math]。宏观干预的使用转换或扭曲了[math]\displaystyle{ I_D }[/math],导致因果涌现。相应地,具有EI最大化的宏观因果模型(及其相关的[math]\displaystyle{ I_D }[/math][math]\displaystyle{ E_D }[/math])最充分地利用了系统的因果容量。还需注意的是,尽管从某个特定宏观尺度的视角来看,[math]\displaystyle{ I_D }[/math]仍处于[math]\displaystyle{ H }[/math]的最大化状态,即每个[math]\displaystyle{ do(s_m) }[/math]具有相同的概率(而[math]\displaystyle{ E_D }[/math]是宏观效应的集合)。