259
个编辑
更改
跳到导航
跳到搜索
第148行：
第148行： + 第432行：
第433行： + +
无编辑摘要
== 概述 ==
== 概述 ==
[[文件:NIS+odd.png|替代=|无框|800x800像素]]
[[文件:NIS+odd.png|替代=|无框|800x800像素]]
为了最大化式{{EquationNote|1}}中定义的EI，我们将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其次，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证[[互信息]]最大化。最后，利用样本重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref>Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。在此框架中，输入可观测的数据，输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略。
为了最大化式{{EquationNote|1}}中定义的EI，我们将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其次，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证[[互信息]]最大化。最后，利用样本重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref>Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。在此框架中，输入可观测的数据，输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略。
正向动力学<math> f </math>训练是最小化预测误差<math>L_1</math>，即<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>，保证动力学预测未来的准确性，但是EI作为一种特殊的互信息，不仅与确定性有关，还与简并性有关。我们需要在提高动力学学习器的确定性的同时，提高它的非简并性。因此，作者在NIS的框架基础之上，加入了反向动力学<math> g </math>，用以反向预测。即输入<math>y_{t+1}</math>，通过动力学学习器<math>g</math>之后，得到宏观量的反向预测值<math>\hat{y}_{t}</math>，使<math>y_{t+1}</math>和<math>\hat{y}_{t}</math>之间的误差值<math>L_2</math>最小化。通过训练反向动力学学习器<math>g</math>，我们可以影响编码器，进而影响隐空间中的数据分布，从而使得动力学学习器<math>f</math>可以学到一个简并性低的动力学。
正向动力学<math> f </math>训练是最小化预测误差<math>L_1</math>，即<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>，保证动力学预测未来的准确性，但是EI作为一种特殊的互信息，不仅与确定性有关，还与简并性有关。我们需要在提高动力学学习器的确定性的同时，提高它的非简并性。因此，作者在NIS的框架基础之上，加入了反向动力学<math> g </math>，用以反向预测。即输入<math>y_{t+1}</math>，通过动力学学习器<math>g</math>之后，得到宏观量的反向预测值<math>\hat{y}_{t}</math>，使<math>y_{t+1}</math>和<math>\hat{y}_{t}</math>之间的误差值<math>L_2</math>最小化。通过训练反向动力学学习器<math>g</math>，我们可以影响编码器，进而影响隐空间中的数据分布，从而使得动力学学习器<math>f</math>可以学到一个简并性低的动力学。
=== 分阶段训练 ===
=== 分阶段训练 ===