第431行: |
第431行: |
| | | |
| === 反向动力学 === | | === 反向动力学 === |
− | [[文件:NISandNIS+.png|无框|450x450px|1|替代=|左]] | + | [[文件:NISandNIS+.png|替代=|无框|450x450像素]] |
− | | |
− | | |
− | | |
| 正向动力学<math> f </math>训练是最小化预测误差<math>L_1</math>,即<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>,保证动力学预测未来的准确性,但是EI作为一种特殊的互信息,不仅与确定性有关,还与简并性有关。我们需要在提高动力学学习器的确定性的同时,提高它的非简并性。因此,作者在NIS的框架基础之上,加入了反向动力学<math> g </math>,用以反向预测。即输入<math>y_{t+1}</math>,通过动力学学习器<math>g</math>之后,得到宏观量的反向预测值<math>\hat{y}_{t}</math>,使<math>y_{t+1}</math>和<math>\hat{y}_{t}</math>之间的误差值<math>L_2</math>最小化。通过训练反向动力学学习器<math>g</math>,我们可以影响编码器,进而影响隐空间中的数据分布,从而使得动力学学习器<math>f</math>可以学到一个简并性低的动力学。 | | 正向动力学<math> f </math>训练是最小化预测误差<math>L_1</math>,即<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>,保证动力学预测未来的准确性,但是EI作为一种特殊的互信息,不仅与确定性有关,还与简并性有关。我们需要在提高动力学学习器的确定性的同时,提高它的非简并性。因此,作者在NIS的框架基础之上,加入了反向动力学<math> g </math>,用以反向预测。即输入<math>y_{t+1}</math>,通过动力学学习器<math>g</math>之后,得到宏观量的反向预测值<math>\hat{y}_{t}</math>,使<math>y_{t+1}</math>和<math>\hat{y}_{t}</math>之间的误差值<math>L_2</math>最小化。通过训练反向动力学学习器<math>g</math>,我们可以影响编码器,进而影响隐空间中的数据分布,从而使得动力学学习器<math>f</math>可以学到一个简并性低的动力学。 |
− |
| |
− |
| |
| | | |
| === 分阶段训练 === | | === 分阶段训练 === |
第451行: |
第446行: |
| | | |
| === 面对大规模复杂系统的拓展 === | | === 面对大规模复杂系统的拓展 === |
− | [[文件:StackParallel.png|无框|600x600px|1|替代=|左]] | + | [[文件:StackParallel.png|替代=|无框|600x600像素]] |
| 在实际应用中,如果系统不是小规模系统,而是类似[[元胞自动机 Cellular Automata|元胞自动机]]的大规模的复杂系统,我们需要对此框架进行拓展,将编码器(解码器)进行组合,从而减轻模型训练的压力和难度。 | | 在实际应用中,如果系统不是小规模系统,而是类似[[元胞自动机 Cellular Automata|元胞自动机]]的大规模的复杂系统,我们需要对此框架进行拓展,将编码器(解码器)进行组合,从而减轻模型训练的压力和难度。 |
| | | |
第521行: |
第516行: |
| 其中,<math>\boldsymbol{\xi}_1,\boldsymbol{\xi}_2 \sim \scriptsize{N}(0,\Sigma) </math>为相互独立的二维高斯噪声,<math>\Sigma </math>为相关矩阵。微观状态序列<math>\boldsymbol{x}_t = (\boldsymbol{S}'_t,\boldsymbol{I}'_t) </math>作为实验中的训练样本。作者在图(a)的三角形区域内采样,以此来随机选择初始条件,并使用上述过程生成时间序列数据,用以训练模型。 | | 其中,<math>\boldsymbol{\xi}_1,\boldsymbol{\xi}_2 \sim \scriptsize{N}(0,\Sigma) </math>为相互独立的二维高斯噪声,<math>\Sigma </math>为相关矩阵。微观状态序列<math>\boldsymbol{x}_t = (\boldsymbol{S}'_t,\boldsymbol{I}'_t) </math>作为实验中的训练样本。作者在图(a)的三角形区域内采样,以此来随机选择初始条件,并使用上述过程生成时间序列数据,用以训练模型。 |
| | | |
− | [[文件:NIS+ sir.jpg|替代=|800x800px|无框|左]] | + | [[文件:NIS+_sir.jpg|替代=|无框|700x700像素]] |
| + | |
| | | |
| | | |
第565行: |
第561行: |
| | | |
| 其中<math>(x_i^t,y_i^t) </math>是位置,<math>(v_{x,i}^t,v_{y,i}^t) </math>是时刻t的速度,<math>i=1,2,\dots,16 </math>。 | | 其中<math>(x_i^t,y_i^t) </math>是位置,<math>(v_{x,i}^t,v_{y,i}^t) </math>是时刻t的速度,<math>i=1,2,\dots,16 </math>。 |
− | [[文件:Boids1.png|左|无框|800x800像素|1]] | + | |
| + | [[文件:Boids1.png|替代=|无框|800x800像素]] |
| + | |
| | | |
| | | |
第603行: |
第601行: |
| == 生命游戏模型实验 == | | == 生命游戏模型实验 == |
| | | |
− | 康威的生命游戏是一个著名的二维元胞自动机模型,在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与SIR模型和Boids模型不同的是,在规则网格上,生命游戏模型在每个时间步长的微观状态是离散的(0或1)。此外,微观动力学不能用微分方程或差分方程来表示,而是用规则表来表示。[[文件:Gamelife.png|无框|800x800px|1|替代=|左]]一、NIS+捕获模式的能力。 | + | |
| + | 康威的生命游戏是一个著名的二维元胞自动机模型,在这个模型上出现了滑翔机、正方形、花朵、信号灯、蜂窝、交通灯等各种有趣的动态模式。与SIR模型和Boids模型不同的是,在规则网格上,生命游戏模型在每个时间步长的微观状态是离散的(0或1)。此外,微观动力学不能用微分方程或差分方程来表示,而是用规则表来表示。 |
| + | [[文件:Gamelife.png|替代=|无框|800x800像素]] |
| + | |
| + | 一、NIS+捕获模式的能力。 |
| | | |
| 我们使用随机初始条件下模拟生成的数据来训练NIS+,并提取从第100步到第120步的状态时间序列。图(a)、(b)和(c)显示了由真实宏观机制模拟(第一行)和NIS+预测(第三行)生成的动态模式,以及可以进行这些预测的涌现宏观状态(第二行)。我们将两个连续时间步长的图像输入到NIS+中,再用两个连续时间步长得到另一个图像对。把上面的图片和下面的图片比较一下,图案是相似的。然而,由于在随机初始条件下具有某些模式的训练样本出现有限,第三列的学习和预测模式有些(特别是“滑翔机”模式)显得模糊。为了提高预测的质量,我们可以生成一组包含两个“滑翔机”初始条件的新训练样本。结果如图(d)所示,尽管这个测试环境中的滑翔机数量是3个,预测也更加清晰。这意味着,NIS+可以捕获包括移动、静态和振荡结构在内的模式。 | | 我们使用随机初始条件下模拟生成的数据来训练NIS+,并提取从第100步到第120步的状态时间序列。图(a)、(b)和(c)显示了由真实宏观机制模拟(第一行)和NIS+预测(第三行)生成的动态模式,以及可以进行这些预测的涌现宏观状态(第二行)。我们将两个连续时间步长的图像输入到NIS+中,再用两个连续时间步长得到另一个图像对。把上面的图片和下面的图片比较一下,图案是相似的。然而,由于在随机初始条件下具有某些模式的训练样本出现有限,第三列的学习和预测模式有些(特别是“滑翔机”模式)显得模糊。为了提高预测的质量,我们可以生成一组包含两个“滑翔机”初始条件的新训练样本。结果如图(d)所示,尽管这个测试环境中的滑翔机数量是3个,预测也更加清晰。这意味着,NIS+可以捕获包括移动、静态和振荡结构在内的模式。 |
第629行: |
第631行: |
| 作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的,这对应于具有不同初始条件的相同动力学的时间序列。采样率(重复时间)为:ID1000为2.2s,PIOP2为2s。我们通过Schaefer atlas方法对原始数据进行预处理<ref>Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>,将每个受试者的时间序列维数从大约140,000(不同受试者的维数不同)降至100,使NIS+能够运行并获得更清晰的结果。然后,选取前800个时间序列数据进行训练,剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较,其中50名受试者处于静息状态。 | | 作者在830名受试者(AOMIC ID1000)的大脑fMRI真实时间序列数据上测试了NIS+<ref name=":7">Snoek L, Miesen M and Beemsterboer T et al. The amsterdam open mri collection, a set of multimodal mri datasets for individual difference analyses. Sci Data 2021; 8: 03.</ref>。fMRI扫描数据是在受试者观看同一段电影时收集的,这对应于具有不同初始条件的相同动力学的时间序列。采样率(重复时间)为:ID1000为2.2s,PIOP2为2s。我们通过Schaefer atlas方法对原始数据进行预处理<ref>Schaefer A, Kong R and Gordon E-M et al. Local-Global Parcellation of the Human Cerebral Cortex from Intrinsic Functional Connectivity MRI. Cereb Cortex 2017; 28:3095–3114.</ref>,将每个受试者的时间序列维数从大约140,000(不同受试者的维数不同)降至100,使NIS+能够运行并获得更清晰的结果。然后,选取前800个时间序列数据进行训练,剩下的30个时间序列进行测试。作者还将结果与另一个fMRI数据集AOMIC PIOP2<ref name=":7" />进行了比较,其中50名受试者处于静息状态。 |
| | | |
− | [[文件:NIS+ brain.jpg|替代=|650x650px|无框|左]] | + | [[文件:NIS+_brain.jpg|替代=|无框|650x650像素]] |
| | | |
| 一、对微观状态的预测能力。 | | 一、对微观状态的预测能力。 |