28
个编辑
更改
跳到导航
跳到搜索
小第1行：
第1行： − 此词条由因果涌现第五季读书会词条梳理志愿者LJR.json编撰，未经专家审核，带来阅读不便，请见谅。 − 第32行：
第30行： − + 第92行：
第90行： − + 第111行：
第109行： − + 第173行：
第171行： − + 第267行：
第265行： − + 第337行：
第335行： − + 第397行：
第395行： + +
调整格式-图片居中
=介绍=
=介绍=
=问题定义=
=问题定义=
==背景 ==
==背景==
===动力学的定义===
===动力学的定义===
NIS是一种新的机器学习框架，基于可逆神经网络来解决式6中提出的问题。其由三个组件组成：编码器、动态学习器和解码器。它们分别用神经网络 <math>\psi_\alpha , f_\beta ,</math> 和<math>\psi_\alpha^{-1}</math> 表示，参数分别为<math>\alpha, \beta</math> 和<math>\alpha</math> 。整个框架如图1所示。接下来将分别描述每个模块。
NIS是一种新的机器学习框架，基于可逆神经网络来解决式6中提出的问题。其由三个组件组成：编码器、动态学习器和解码器。它们分别用神经网络 <math>\psi_\alpha , f_\beta ,</math> 和<math>\psi_\alpha^{-1}</math> 表示，参数分别为<math>\alpha, \beta</math> 和<math>\alpha</math> 。整个框架如图1所示。接下来将分别描述每个模块。
[[文件:NIS Graph 1.png|缩略图|'''图1.''' 神经信息压缩器的工作流程和框架。]]
[[文件:NIS Graph 1.png|居中|缩略图|'''图1.''' 神经信息压缩器的工作流程和框架。]]
==编码器==
==编码器==
*'''可逆神经网络'''
*'''可逆神经网络'''
[[文件:Pasted image 20240519112728.png|缩略图|'''图2.''' 双射器基本模块的 RealNVP 神经网络 <math> (\psi) </math> 实现。]]
[[文件:Pasted image 20240519112728.png|居中|缩略图|'''图2.''' 双射器基本模块的 RealNVP 神经网络 <math> (\psi) </math> 实现。]]
有多种方法可以实现可逆神经网络[41,42]。同时选择如图2所示的RealNVP模块[43]来具体实现可逆计算。
有多种方法可以实现可逆神经网络[41,42]。同时选择如图2所示的RealNVP模块[43]来具体实现可逆计算。
为了选择最优的 <math>q</math>，可以比较不同 <math>q</math> 粗粒化宏观动态的有效信息度量 <math>\mathcal{I}</math>。由于参数 <math>q</math> 是一维的，其值范围也有限 <math>(0 < q < p)</math>，可以简单地迭代所有 <math>q</math> 以找出最优的 <math>q</math> 和最优的有效策略。
为了选择最优的 <math>q</math>，可以比较不同 <math>q</math> 粗粒化宏观动态的有效信息度量 <math>\mathcal{I}</math>。由于参数 <math>q</math> 是一维的，其值范围也有限 <math>(0 < q < p)</math>，可以简单地迭代所有 <math>q</math> 以找出最优的 <math>q</math> 和最优的有效策略。
==有效信息==
== 有效信息==
'''前馈神经网络的有效信息定义'''
'''前馈神经网络的有效信息定义'''
理论中讨论神经信息压缩器框架找出最具信息量的宏观动态的原因，以及有效策略动态随<math>q</math>的变化。由于理论结果与输入数据的分布无关，该理论同时适用互信息与有效信息。
理论中讨论神经信息压缩器框架找出最具信息量的宏观动态的原因，以及有效策略动态随<math>q</math>的变化。由于理论结果与输入数据的分布无关，该理论同时适用互信息与有效信息。
===压缩信道===
===压缩信道===
[[文件:NIS Fig 3.png|缩略图|'''图3.''' 神经信息压缩器压缩信道的图形模型。]]
[[文件:NIS Fig 3.png|居中|缩略图|'''图3.''' 神经信息压缩器压缩信道的图形模型。]]
NIS框架（图 1）可以看作图 3 所示的信道，由于投影操作的存在，通道在中间被压缩。此为压缩信息通道。
NIS框架（图 1）可以看作图 3 所示的信道，由于投影操作的存在，通道在中间被压缩。此为压缩信息通道。
在几个数据集上测试NIS（所有数据均由模拟动态模型生成）。此测试还包括连续动力学和离散马尔可夫动力学。
在几个数据集上测试NIS（所有数据均由模拟动态模型生成）。此测试还包括连续动力学和离散马尔可夫动力学。
=== 带测量噪声的弹簧振荡器===
===带测量噪声的弹簧振荡器===
振荡器符合如下动力学方程组：
振荡器符合如下动力学方程组：
NIS框架的弱点如下。首先，由于可逆神经网络很难在大数据集上训练，它只能在小数据集上工作；其次，该框架仍然缺乏可解释性；第三，该模型可预测的条件分布仅限于高斯或拉普拉斯分布。
NIS框架的弱点如下。首先，由于可逆神经网络很难在大数据集上训练，它只能在小数据集上工作；其次，该框架仍然缺乏可解释性；第三，该模型可预测的条件分布仅限于高斯或拉普拉斯分布。
此词条由因果涌现第五季读书会词条梳理志愿者LJR.json编撰，未经专家审核，带来阅读不便，请见谅。