196
个编辑
更改
跳到导航
跳到搜索
第22行：
第22行： − + 第425行：
第425行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第465行：
第518行： + + + + +
无编辑摘要
=== 基于信息分解的因果涌现识别 ===
=== 基于信息分解的因果涌现识别 ===
Rosas等学者<ref name=":0" /><ref>P. A. Mediano, F. Rosas, R. L. Carhart-Harris, A. K. Seth, A. B. Barrett, Beyond integrated information: A taxonomy of information dynamics phenomena, arXiv preprint arXiv:1909.02297 (2019).</ref>通过信息分解框架给出了和Hoel等人不同的对[[因果涌现]]的新定义，并基于此识别量化[[因果涌现]]。但是信息分解框架中定义的信息原子难以计算，所以作者推导出只需要计算[[互信息]]的近似公式，提出了判定[[因果涌现]]发生的充分条件，即<math>\Psi_{t, t+1}(V) </math>，具体公式如下：[[文件:ImageRosas.png|右|无框|600x600像素]]
Rosas等学者<ref name=":0" /><ref>P. A. Mediano, F. Rosas, R. L. Carhart-Harris, A. K. Seth, A. B. Barrett, Beyond integrated information: A taxonomy of information dynamics phenomena, arXiv preprint arXiv:1909.02297 (2019).</ref>通过信息分解框架给出了和Hoel等人不同的对[[因果涌现]]的新定义，并基于此识别量化[[因果涌现]]。但是信息分解框架中定义的信息原子难以计算，所以作者推导出只需要计算[[互信息]]的近似公式，提出了判定[[因果涌现]]发生的充分条件，即<math>\Psi_{t, t+1}(V) </math>，具体公式如下：[[文件:ImageRosas.png|右|无框|600x600像素|替代=|图1]]
<math>\Psi_{t, t+1}(V):=I\left(V_t ; V_{t+1}\right)-\sum_j I\left(X_t^j ; V_{t+1}\right) </math>
<math>\Psi_{t, t+1}(V):=I\left(V_t ; V_{t+1}\right)-\sum_j I\left(X_t^j ; V_{t+1}\right) </math>
=== 反向动力学 ===
=== 反向动力学 ===
=== 分阶段训练 ===
=== 分阶段训练 ===
在实践中，NIS+的训练过程分为两个阶段。
第一阶段：只训练前向神经网络，最小化预测误差<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>。
第二阶段，只训练反向神经网络。因为从未使用训练过的逆动力学gθ '，所以第二阶段本质上是用于训练<math>
\phi_{ω}
</math>。
=== 面对大规模复杂系统的拓展 ===
=== 面对大规模复杂系统的拓展 ===
在实际应用中，如果系统不是小规模系统，而是类似[[元胞自动机 Cellular Automata|元胞自动机]]的大规模的复杂系统，我们需要对此框架进行拓展，将编码器（解码器）进行组合，从而减轻模型训练的压力和难度。
[[文件:StackParallel.png|右|无框|500x500像素|1]]
首先，在处理高维复杂系统时，一次丢弃多个维度会给训练神经网络带来很大的挑战。我们可以将一系列基本编码器堆叠（串联）在一起并逐渐丢弃维度，降低训练难度。
此外，一些大规模复杂系统具有先验知识，我们可以根据先验知识对微观维度进行分组，分组之后，对每一组都用编码器进行编码，相当于把编码器进行了并联。并行编码器之间共享参数，故神经网络依然可以高效、准确地获得粗粒化规则。最后，将从所有编码器获得的宏观变量连接成一个向量，以导出总体宏变量。这种并行结构也可以与卷积神经网络等架构结合起来。
为了提高搜索最优尺度的效率，我们可以利用堆叠编码器获得隐藏空间的多个尺度，同时训练多个不同尺度的动力学学习器（相当于搜索不同q的宏观动力学），从而避免重新训练编码器，提高模型效率。
将NIS+的编码器替换为堆叠编码器与并行编码器的任意组合时，式{{EquationNote|3}}的最优化函数依然适用（引理5、引理6）。
'''引理5'''——堆叠编码器不影响互信息：
若<math>
X\in Dom(X)
</math>和<math>
Y\in Dom(Y)
</math>形成一个马尔可夫链<math>
X\rightarrow Y
</math>， <math>
\phi_L
</math>和<math>
\phi^\dag_L
</math>分别表示L层堆叠的编码器和解码器，则：
<math>
I(X;Y)=I(X;\Phi^\dag_L(Y))
</math>
'''引理6'''——并行编码器不影响互信息：
若<math>
X\in Dom(X)
</math>和<math>
Y\in Dom(Y)
</math>形成一个马尔可夫链<math>
X\rightarrow Y
</math>， <math>
\phi_T
</math>和<math>
\phi^\dag_T
</math>分别表示由T个普通编码器或解码器组成的并行编码器和解码器，则：
<math>
I(X;Y)=I(X;\Phi^\dag_T(Y))
</math>
= NIS 和NIS+ 的原理图 =
= NIS 和NIS+ 的原理图 =
== 生命游戏模型实验 ==
== 生命游戏模型实验 ==
本文以Conway’s Game of Life作为实验对象，其中每个细胞有两种状态作为二维状态输入:alive(1)或dead(0)，每个细胞受到八个相邻细胞的影响。生命游戏的进化只受输入状态及其更新规则的影响，其中生命游戏有四条进化规则，分别对应细胞繁殖和死亡等。Game of Life的更新规则如下表所示:Game of Life的训练样本生成过程如下:首先初始化状态xt。当考虑两个步骤的时间粗粒度时，根据更新规则生成状态xt+1、xt+2和xt+3的后续三个步骤，并将其输入到机器学习模型中。两个输入状态分别为xt和xt+1，微动力学输出分别为xt+1和xt+2。由于使用了时空粗粒度，宏观动力学将输出一个宏观状态，并将其解码为微观状态xt+2和xt+3。此过程重复多次(50,000个样本)，并生成图10d中用于训练的数据。而在其他实验中，我们生成了50万个样本。
然后，我们测试了在滑翔机模式上捕获动态模式的能力，其中模型是基于两个滑翔机模式进行训练的。该模型具有良好的预测效果，结果如图11所示。
此外，关于其他模型参数的更详细信息请参见表2。
== 大脑fMRI 时间序列数据模型实验 ==
== 大脑fMRI 时间序列数据模型实验 ==