68
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − − ==数学框架：最大化EI== 第10行：
第8行： + + + + + + + + + + + + + + + 第25行：
第38行： − ==问题与展望：NIS+==+ − NIS的主要问题在于，首先其并没有直接地最大化EI，而是训练了微观上的预测误差，即NIS框架没有完全解决其提出的问题；第二是NIS难以应用于大规模的系统，在实验中仅应用于弹簧振子及布尔网络的例子，目前没有拓展到大规模复杂网络上的应用。 − − 为解决这些问题，从NIS框架出发提出NIS+框架。在NIS的基础上，NIS+框架添加了反向动力学、由此产生一个新的损失函数，并对两个损失函数进行加权。其中，新的损失函数产生于神经网框架中添加的部分：通过对<math>t+1</math>时刻再次编码，在宏观上来训练一个反向动力学来去预测<math>t</math>时刻的一个<math>\hat{y}(t)</math>。将新的损失函数与NIS框架中原有的损失函数加权，可以直接最大化EI。 − −
补充“历史”一节正文
=历史=
=历史=
==Normalizing Flow（标准化流）技术==
==Normalizing Flow（标准化流）技术==
需要说明的是，因为分布间是可以相互变换的，因此对基础分布没有特定的限制，不失一般性的，可以使用标准分布（单高斯）分布作为基础分布。另外，在本文中，我们回避使用先验分布（prior distribution）来称呼这个基础分布，是因为这里的变量<math>\mathbf{z}</math>和其他场合下的隐变量不同，在标准化流模型中，一旦<math>\mathbf{x}</math>确定了,<math>\mathbf{z}</math>也随之确定下来，不存在随机性，也没有后验概率这一说法，所以不能称其为隐变量。
需要说明的是，因为分布间是可以相互变换的，因此对基础分布没有特定的限制，不失一般性的，可以使用标准分布（单高斯）分布作为基础分布。另外，在本文中，我们回避使用先验分布（prior distribution）来称呼这个基础分布，是因为这里的变量<math>\mathbf{z}</math>和其他场合下的隐变量不同，在标准化流模型中，一旦<math>\mathbf{x}</math>确定了,<math>\mathbf{z}</math>也随之确定下来，不存在随机性，也没有后验概率这一说法，所以不能称其为隐变量。
正则化流模型（Normalizing Flow）和NIS在某些方面具有相似性。它们都致力于使用可逆神经网络（INN）通过将复杂的微观状态<math>s</math>映射到更简单的宏观状态<math>S</math>，即粗粒化过程。在这种粗粒化之后，二者都试图最大化由此产生的有效信息量<math>L(s,S)</math>，从而提取出系统中重要的宏观动态特征。这种方法可以帮助理解复杂系统中的涌现现象和因果关系，在数据建模和分析中有较大应用潜力。
==数学框架：最大化EI==
信道具有一定的容量，即将输入以最具信息性和可靠性转换为输出的能力。通过信道传输的信息速率对输入概率分布<math>p(X)</math>的变化非常敏感。通道的容量(<math>C</math>)由最大化互信息的输入集合定义，即信道可靠传输信息的最大速率：
<math>C = max _{p(X)} I(X;\mathcal{Y})</math>
因果涌现理论揭示了系统的类似因果容量。因果容量(CC)是系统以最具信息性和高效性的方式将干预转化为效应的能力：
<math>CC = max _{I_D}(I_D;E_D).</math>
正如改变通道的输入概率分布p(X)可以增加I(X;Y)，改变干预分布l可以增加I_D。宏观干预的使用转换或扭曲了I_D，导致因果涌现。相应地，具有EI最大化的宏观因果模型（及其相关的I_D和E_D）最充分地利用了系统的因果容量。还需注意的是，尽管从某个特定宏观尺度的视角来看，I_D仍处于H的最大化状态，即每个do(s_m)具有相同的概率（而E_D是宏观效应的集合）。
NIS框架解决的数学问题正是如何最大化这一过程中的有效信息。
=简介=
=简介=
这一架构的另一优点是，其解码器可由编码器逆转得到，且可以自上而下地从编码器配合随机采样的数据生成微观态细节，属于生成模型的一种。
这一架构的另一优点是，其解码器可由编码器逆转得到，且可以自上而下地从编码器配合随机采样的数据生成微观态细节，属于生成模型的一种。
=问题描述 =
=问题描述=
==背景知识==
==背景知识==