讨论:NIS

• NIS（神经信息压缩器）是一个以最大化粗粒化过程中有效信息的神经网络框架。

NIS的提出实际上是为了解决因果涌现辨识问题的。而且，NIS虽然力图最大化EI，但第一个版本并没有真正实现这个目标。

• 它由可逆神经网络组成，分为编码器、解码器、动力学学习器三部分

NIS的这三部分并不都是可逆的，只有编码解码器可逆，而且这两个共享同一个神经网络。

• 琐碎的策略

建议用 平凡解 来作对应的中文名词

• 数学框架：最大化EI

这里感觉因果容量没说清楚。改变输入概率分布和改变干预分布的区别是什么？（所以因果容量和信道容量有区别吗？）另外，后面又提到宏观态和最大熵分布，这和因果容量是什么关系？

• 在这种粗粒化之后，二者都试图最大化由此产生的有效信息量

这里的有效信息量不是很明白，它应该不是 effective information， 最好可以在行文中区分开这两个概念。

• 神经网络框架

图中粗粒化策略的符号有问题。

• NIS并未真正地最小化有效信息

最大化

信道具有一定的容量，即将输入以最具信息性和可靠性转换为输出的能力。通过信道传输的信息速率对输入概率分布[math]\displaystyle{ p(X) }[/math]的变化非常敏感。通道的容量([math]\displaystyle{ C }[/math])由最大化互信息的输入集合定义，即信道可靠传输信息的最大速率：

[math]\displaystyle{ C = max _{p(X)} I(X;\mathcal{Y}) }[/math]

因果涌现理论揭示了系统的类似因果容量。因果容量(CC)是系统以最具信息性和高效性的方式将干预转化为效应的能力：

[math]\displaystyle{ CC = max _{I_D}(I_D;E_D). }[/math]

正如改变通道的输入概率分布[math]\displaystyle{ p(X) }[/math]可以增加[math]\displaystyle{ I(X;Y) }[/math]，改变干预分布l可以增加[math]\displaystyle{ I_D }[/math]。宏观干预的使用转换或扭曲了[math]\displaystyle{ I_D }[/math]，导致因果涌现。相应地，具有EI最大化的宏观因果模型（及其相关的[math]\displaystyle{ I_D }[/math]和[math]\displaystyle{ E_D }[/math]）最充分地利用了系统的因果容量。还需注意的是，尽管从某个特定宏观尺度的视角来看，[math]\displaystyle{ I_D }[/math]仍处于[math]\displaystyle{ H }[/math]的最大化状态，即每个[math]\displaystyle{ do(s_m) }[/math]具有相同的概率（而[math]\displaystyle{ E_D }[/math]是宏观效应的集合）。