1,884
个编辑
更改
跳到导航
跳到搜索
第194行：
第194行： + 第246行：
第247行： − + + + + + +
→神经信息压缩方法
Kaplanis等人<ref name=":2" />基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>：使用<math>f_{\theta}</math>神经网络来学习将微观输入<math>X_t</math>粗粒化成宏观输出<math>V_t</math>，同时使用神经网络<math>g_{\phi}</math>和<math>h_{\xi}</math>来分别学习<math>I(V_t;V_{t+1})</math>和<math>\sum_i(I(V_{t+1};X_{t}^i))</math>两者互信息的计算,最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。
Kaplanis等人<ref name=":2" />基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>：使用<math>f_{\theta}</math>神经网络来学习将微观输入<math>X_t</math>粗粒化成宏观输出<math>V_t</math>，同时使用神经网络<math>g_{\phi}</math>和<math>h_{\xi}</math>来分别学习<math>I(V_t;V_{t+1})</math>和<math>\sum_i(I(V_{t+1};X_{t}^i))</math>两者互信息的计算,最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。
[[文件:LCCR.png|居中|400x400像素|替代=NIS模型框架图|学习因果涌现表征的架构|缩略图]]
[[文件:LCCR.png|居中|400x400像素|替代=NIS模型框架图|学习因果涌现表征的架构|缩略图]]
====神经信息压缩方法====
====神经信息压缩方法====
[[文件:NIS+.png|居中|400x400像素|替代=NIS模型框架图|NIS+模型框架图|缩略图]]
[[文件:NIS+.png|居中|400x400像素|替代=NIS模型框架图|NIS+模型框架图|缩略图]]
文章对不同的动力学系统进行了实验，包括SIR动力学、Boids模型、生命游戏以及脑神经系统模型，这里我们选择鸟群和脑实验进行分析。
文章对不同的动力学系统进行了实验，包括SIR动力学、Boids模型、生命游戏以及脑神经系统模型，这里我们选择鸟群和脑实验进行分析。
[[文件:NIS+ 鸟群.png|居中|400x400像素|缩略图|鸟群中的因果涌现]]
下图为NIS+学习Boids模型的集体群集行为的实验结果。(a)和(e)给出了各种条件下星体轨迹的实际和预测数据。具体来说，他们给出了在两个分离组和随机偏转角度条件下的多步(50步)预测的比较结果。它们的本征噪声水平α分别为0.001和0.4。(b)展示了多步预测的平均绝对误差(MAE)的上升，因为半径r(表示(a)中物体的初始位置范围)超出了训练数据的限制。(c)用不同的q超参数(代表不同宏观状态的尺度)描述了NIS+的训练时代中维度平均因果出现(∆J)的变化趋势。(d)为显著性图，直观地描述了每个宏观维度与每个体的空间坐标之间的关联。我们用橙色点突出了每个宏观状态维度中最重要的对应微观状态，这些微观状态是使用应用于模型的积分梯度(IG)方法确定的。横轴表示16个物体在微观状态下的x和y坐标，纵轴表示8个宏观维度。淡蓝色的虚线区分了不同个体体的坐标，而钢蓝色的实线分隔了实体组。(f)和(g)表示不同噪声水平下∆J和归一化MAE的变化，(f)表示外部噪声(观测，加入微观状态)， (g)表示本征噪声(α，通过修改Boids模型的动力学规则加入)。在(f)和(g)中，水平线表示违反式1中误差约束的阈值。当归一化MAE大于阈值0.3时，违反约束，结果不可靠。
NIS+可以通过最大化EI来学习最优宏观状态和粗粒化策略。这种最大化增强了它对超出训练数据范围的情况的泛化能力。学习到的宏观状态有效地识别了平均群体行为，并且可以使用IG方法将其归因于个体位置。此外，CE的程度随外在噪声的增加而增加，而随内在噪声的减少而减少。这一观察结果表明，通过粗粒化可以消除外在噪声，而内在噪声则不能。
[[文件:NIS+ boids.png|居中|400x400像素|缩略图|鸟群中的因果涌现]]
脑实验基于FMRI数据，选择人的静息态和看电影视觉任务，由于原始维度比较高，首先通过使用Schaefer atlas方法对原始的14000维数据降维到100个脑区，构建了6个尺度动力学，图a展示了不同尺度下的多步预测误差，图b展示了在静息态和看电影视觉任务中NIS与NIS+方法的对比，在视觉任务数据中发现scale=1时因果涌现最显著，通过归因分析发现视觉区发挥的作用最大(图c)，与真实的场景保持一致，图d展示了脑区归因的不同视角图。
脑实验基于FMRI数据，选择人的静息态和看电影视觉任务，由于原始维度比较高，首先通过使用Schaefer atlas方法对原始的14000维数据降维到100个脑区，构建了6个尺度动力学，图a展示了不同尺度下的多步预测误差，图b展示了在静息态和看电影视觉任务中NIS与NIS+方法的对比，在视觉任务数据中发现scale=1时因果涌现最显著，通过归因分析发现视觉区发挥的作用最大(图c)，与真实的场景保持一致，图d展示了脑区归因的不同视角图。