更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年2月21日 (五) 10:42的版本
删除2,630字节
、
2025年2月21日 (五) 10:42
→基于NIS方法恢复系统宏观状态
第206行:
第206行:
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
−
=
基于NIS方法恢复系统宏观状态
=
+
=
基于NIS方法观察神经网络层间EI变化
=
−
−
这个实验使用弹簧振子模型来测试[[神经信息压缩机]]的有效性。这个方法的目的是从带有噪声的观测数据中恢复出系统的宏观状态,并预测未来的状态变化。弹簧振子是一个经典的物理系统,它的运动可以用位置(<math>z</math>)和速度(<math>v</math>)来描述。
−
−
==弹簧振子模型==
−
−
弹簧振子的运动遵循以下动力学方程:
−
−
<math>
−
\begin{cases}
−
\frac{dz}{dt} = v \\
−
\frac{dv}{dt} = -z
−
\end{cases}
−
</math>
−
−
这里,<math>z</math> 是位置,<math>v</math> 是速度。系统的状态可以用一个二维向量 <math>\mathbf{x} = (z, v)</math> 来表示。
−
−
然而,实验中我们无法直接观测到系统的真实状态 <math>\mathbf{x}</math>,而是通过两个传感器来测量,每个传感器的测量结果都带有噪声。具体的观测模型如下:
−
−
<math>
−
\begin{cases}
−
\tilde{\mathbf{x}}_1 = \mathbf{x} + \zeta \\
−
\tilde{\mathbf{x}}_2 = \mathbf{x} - \zeta
−
\end{cases}
−
</math>
−
−
其中,<math>\zeta</math> 是一个服从二维高斯分布的随机噪声,<math>\zeta \sim \mathcal{N}(0, \sigma)</math>,<math>\sigma</math> 是噪声的标准差。这里的 <math>\tilde{\mathbf{x}}_1</math> 和 <math>\tilde{\mathbf{x}}_2</math> 是我们实际观测到的微观状态。
−
−
==宏观状态恢复情况比较==
−
−
实验结果显示,NIS能够准确地恢复潜在的宏观状态 <math>\mathbf{x}</math>,而普通的神经网络无法做到这一点(下图a, b)。通过绘制宏观状态的导数 <math>(dz/dt, dv/dt)</math> 与宏观状态变量 <math>(v, z)</math> 的关系,NIS能够捕捉到弹簧振子的动力学(下图c),而普通神经网络无法做到(下图d)。同时,NIS能够进行多步预测,尽管随着时间步的增加,预测误差逐渐增大,但NIS仍然能够捕捉到系统的整体趋势(下图e)。通过有效信息的计算,量化不同尺度(<math>q</math>)下的维度平均因果涌现(dCE),NIS发现dCE在<math>q=2</math>时达到峰值(下图f)。这与真实情况一致,表明在<math>q=2</math>时,宏观动力学具有最强的因果涌现效应。
−
−
[[文件:截屏2025-01-19_16.01.23.png|替代=|无框|600x600像素]]
−
−
在本实验中,有效信息(EI)用于衡量宏观动力学的因果涌现强度,帮助NIS自动选择最优的粗粒化策略(如<math>q=2</math>时EI最大),并验证宏观动力学是否有效捕捉系统行为。EI还反映了信息压缩的效率,确保宏观状态保留足够信息来描述系统动力学,同时支持NIS框架的理论分析,验证其在不同尺度下的表现。
=总结=
=总结=
相信未来
5,443
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本