269
个编辑
更改
跳到导航
跳到搜索
第137行：
第137行： − − [[文件:NIS+odd.png|替代=|无框|800x800像素]] − − − 图注：在此框架中，输入可观测的数据（如图(a)，可以是轨迹、图像序列、时间序列），输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略（如图(c)）。在NIS+中（如图(b)），作者首先使用[[互信息]]和变分不等式的公式将[[互信息]]的最大化问题转化为机器学习问题，其中，通过学习一个反向宏观动力学[math]g[/math]，也就是通过<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，该框架保证了[[互信息]]的最大化。最后，该框架提出利用样本重加权技术来解决均匀分布干预的挑战，从而保证了优化的目标函数是[[有效信息]]。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref name=":12">Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。 第148行：
第143行： − + − + + + + + + + + + + − + + + + + + + + + +
→模型框架
在神经网络的框架构成上，[[NIS]]由编码器、宏观动力学学习器、解码器组成，其中编码器和解码器使用的神经网络是共享参数的可逆神经网络；而NIS+则在此基础上多了一个反向宏观动力学学习器。在宏观尺度的选择上，二者都需要事先给定超参数<math>q</math>。在损失函数上，NIS只是优化正向的微观预测损失，而NIS+首先结合样本重加权的技术，计算带有权重的正向微观预测损失，另外根据反向动力学学习器，计算带有权重的反向宏观预测损失。两种预测损失会以一定的比例结合在一起优化。在输入输出上，二者输入的都是多维的微观时间序列，输出的是宏观动力学，粗粒化策略，EI和CE的大小。其中NIS+得到的宏观动力学和粗粒化策略是使得宏观动力学有效信息最大的函数。
在神经网络的框架构成上，[[NIS]]由编码器、宏观动力学学习器、解码器组成，其中编码器和解码器使用的神经网络是共享参数的可逆神经网络；而NIS+则在此基础上多了一个反向宏观动力学学习器。在宏观尺度的选择上，二者都需要事先给定超参数<math>q</math>。在损失函数上，NIS只是优化正向的微观预测损失，而NIS+首先结合样本重加权的技术，计算带有权重的正向微观预测损失，另外根据反向动力学学习器，计算带有权重的反向宏观预测损失。两种预测损失会以一定的比例结合在一起优化。在输入输出上，二者输入的都是多维的微观时间序列，输出的是宏观动力学，粗粒化策略，EI和CE的大小。其中NIS+得到的宏观动力学和粗粒化策略是使得宏观动力学有效信息最大的函数。
{| class="wikitable"
{| class="wikitable"
!
!
|-
|-
|NIS
|NIS
| rowspan="2" |由编码器、宏观动力学学习器、解码器组成；编码器和解码器使用的神经网络是共享参数的可逆神经网络；事先给定超参数<math>q</math>；输入的都是多维的微观时间序列；输出的是宏观动力学，粗粒化策略，EI和CE的大小
| rowspan="2" |由编码器、宏观动力学学习器、解码器组成；
|优化正向的微观预测损失；未真正最大化[[有效信息]]
编码器和解码器使用的神经网络是共享参数的可逆神经网络；
事先给定超参数<math>q</math>；
输入的都是多维的微观时间序列；
输出的是宏观动力学，粗粒化策略，EI和CE的大小
|优化正向的微观预测损失；
未真正最大化[[有效信息]]
|-
|-
|NIS+
|NIS+
|反向宏观动力学学习器；样本重加权技术；计算带有权重的反向宏观预测损失
|反向宏观动力学学习器；
样本重加权技术；
计算带有权重的反向宏观预测损失
|}
|}
[[文件:NIS+odd.png|替代=|无框|800x800像素]]
图注：在此框架中，输入可观测的数据（如图(a)，可以是轨迹、图像序列、时间序列），输出是因果涌现的程度、宏观动力学、涌现斑图以及粗粒化策略（如图(c)）。在NIS+中（如图(b)），作者首先使用[[互信息]]和变分不等式的公式将[[互信息]]的最大化问题转化为机器学习问题，其中，通过学习一个反向宏观动力学[math]g[/math]，也就是通过<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，该框架保证了[[互信息]]的最大化。最后，该框架提出利用样本重加权技术来解决均匀分布干预的挑战，从而保证了优化的目标函数是[[有效信息]]。所有这些技术组成了增强版神经信息压缩机(NIS+)<ref name=":12">Mingzhe Yang, Zhipeng Wang, Kaiwei Liu, et al. Finding emergence in data by maximizing effective information. National Science Review, 2024, nwae279</ref>。
== NIS+ 框架有效性的验证（数值实验） ==
== NIS+ 框架有效性的验证（数值实验） ==