727
个编辑
更改
跳到导航
跳到搜索
第188行：
第188行： − + − − � 实现。]] − +
→使用可逆神经网络的原因
==使用可逆神经网络的原因==
==使用可逆神经网络的原因==
[[文件:Pasted image 20240519112728.png|600px|射器基� 双射器基本模块的 RealNVP 神经网络 /math> 实现。]]
[[文件:Pasted image 20240519112728.png|600px|双射器基本模块的 RealNVP 神经网络实现]]
有多种方法可以实现可逆神经网络<ref>Teshima, T.; Ishikawa, I.; Tojo, K.; Oono, K.; Ikeda, M.; Sugiyama, M. Coupling-based invertible neural networks are universal diffeomorphism approximators. Adv. Neural Inf. Process. Syst. 2020, 33, 3362–3373.</ref><ref>Teshima, T.; Tojo, K.; Ikeda, M.; Ishikawa, I.; Oono, K. Universal approximation property of neural ordinary differential equations. arXiv 2017, arXiv:2012.02414.</ref>。这里选择如图2所示的RealNVP模块<ref name=":0">Dinh, L.; Sohl-Dickstein, J.; Bengio, S. Density estimation using real nvp. arXiv 2016, arXiv:1605.08803.</ref>来具体实现可逆计算。
有多种方法可以实现可逆神经网络<ref>Teshima, T.; Ishikawa, I.; Tojo, K.; Oono, K.; Ikeda, M.; Sugiyama, M. Coupling-based invertible neural networks are universal diffeomorphism approximators. Adv. Neural Inf. Process. Syst. 2020, 33, 3362–3373.</ref><ref>Teshima, T.; Tojo, K.; Ikeda, M.; Ishikawa, I.; Oono, K. Universal approximation property of neural ordinary differential equations. arXiv 2017, arXiv:2012.02414.</ref>。这里选择如图2所示的RealNVP模块<ref name=":0">Dinh, L.; Sohl-Dickstein, J.; Bengio, S. Density estimation using real nvp. arXiv 2016, arXiv:1605.08803.</ref>来具体实现可逆计算。
在该模块中，输入向量<math>\mathbf{x}</math>被拆分成两部分并缩放、平移、再次合并，缩放和平移操作的幅度由相应的前馈神经网络调整。<math>s_1,s_2</math>是用来缩放的共享参数的神经网络，<math>\bigotimes</math> 表示元素乘积。<math>t_1,t_2</math>是用来平移的共享参数的神经网络。这样，就可以实现从x到y的可逆计算。同一模块可以重复多次以实现复杂的可逆计算。
在该模块中，输入向量<math>\mathbf{x}</math>被拆分成两部分并缩放、平移、再次合并，缩放和平移操作的幅度由相应的前馈神经网络调整。<math>s_1,s_2</math>是用来缩放的共享参数的神经网络，<math>\bigotimes</math> 表示元素乘积。<math>t_1,t_2</math>是用来平移的共享参数的神经网络。这样，我们就可以实现从x到y的可逆计算。同一模块可以重复多次以实现复杂的可逆计算。
==两步优化==
==两步优化==