842
个编辑
更改
跳到导航
跳到搜索
第469行：
第469行： − + + + − + + + − + + +
→基于神经网络的DMD
==基于[[神经网络]]的DMD==
==基于[[神经网络]]的DMD==
尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的[[动力系统]]，Koopman [[算子]]的[[特征函数]]也可能任意复杂，并且在有限基中只能被近似地表示。[[深度学习]]非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref name=CW2018>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref name=NT2017>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。除了利用[[神经网络]]来学习Koopman嵌入之外，[[Koopman理论]]也被应用于理解[[神经网络]]<ref>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020. (Cited on p. 290)</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097. (Cited on p. 290)</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059. (Cited on p. 290)</ref>。
尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的[[动力系统]]，Koopman [[算子]]的[[特征函数]]也可能任意复杂，并且在有限基中只能被近似地表示。[[深度学习]]非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref name=CW2018>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref name=NT2017>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。
除了利用[[神经网络]]来学习Koopman嵌入之外，[[Koopman理论]]也被应用于理解[[神经网络]]<ref>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020. (Cited on p. 290)</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097. (Cited on p. 290)</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059. (Cited on p. 290)</ref>。
[[文件:Neuralkoop.png|500x500px|替代=]]
[[文件:Neuralkoop.png|500x500px|替代=]]
目前主要有两种用于Koopman嵌入的[[深度神经网络]]架构，如上图所示。在第一种架构中，深度自动编码器架构提取几个关键的潜在变量 <math>\mathbf{z} = \boldsymbol{\varphi}(\mathbf{x})</math> 来参数化[[动力学]]。在第二种架构中，高维输入数据被提升到更高的维度，在该维度下演化近似为线性的。在这两种 Koopman [[神经网络]]中，都强制执行了一个额外的约束，即在这些潜在变量上的[[动力学]]必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性[[动力学]]的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。通常，线性度是在多个时间步长上强制执行的，因此会有额外的项 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+p}) - \mathbf{K}^p\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 被添加到损失函数中。
目前主要有两种用于Koopman嵌入的[[深度神经网络]]架构，如上图所示。在第一种架构中，深度自动编码器架构提取几个关键的潜在变量 <math>\mathbf{z} = \boldsymbol{\varphi}(\mathbf{x})</math> 来参数化[[动力学]]。在第二种架构中，高维输入数据被提升到更高的维度，在该维度下演化近似为线性的。
在这两种 Koopman [[神经网络]]中，都强制执行了一个额外的约束，即在这些潜在变量上的[[动力学]]必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性[[动力学]]的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。通常，线性度是在多个时间步长上强制执行的，因此会有额外的项 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+p}) - \mathbf{K}^p\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 被添加到损失函数中。
[[自编码器]]具有低维潜在空间的优势，这可能促进可解释的解的产生。[[自编码器]]已被广泛用于[[复杂系统]]建模，例如在[[流体力学]]中<ref>S. L. Brunton, B. R. Noack, and P. Koumoutsakos, Machine learning for fluid mechanics, Annu. Rev. Fluid Mech., 52 (2020), pp. 477--508. (Cited on pp. 259, 290)</ref>，它们可以被视为[[SVD]]的[[非线性]]扩展，而[[SVD]]是 DMD 算法的核心。通过这种方式，基于[[自编码器]]的深度Koopman网络可以被视为DMD的推广。
[[自编码器]]具有低维潜在空间的优势，这可能促进可解释的解的产生。[[自编码器]]已被广泛用于[[复杂系统]]建模，例如在[[流体力学]]中<ref>S. L. Brunton, B. R. Noack, and P. Koumoutsakos, Machine learning for fluid mechanics, Annu. Rev. Fluid Mech., 52 (2020), pp. 477--508. (Cited on pp. 259, 290)</ref>，它们可以被视为[[SVD]]的[[非线性]]扩展，而[[SVD]]是 DMD 算法的核心。通过这种方式，基于[[自编码器]]的深度Koopman网络可以被视为DMD的推广。
同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman [[特征函数]]<ref name=lusch_2018>B. Lusch, J. N. Kutz, and S. L. Brunton, Deep learning for universal linear embeddings of nonlinear dynamics, Nature Commun., 9 (2018), art. 4950. (Cited on pp. 235, 284, 290, 291, 307)</ref>。[[变分自编码器]]也被用于[[随机动力系统]]，例如分子[[动力学]]，其中从潜在变量映射回[[物理]]构型空间的过程是[[概率]]性的。相比之下，第二种范式，即测量值被提升到更高维空间，与[[机器学习]]中的许多结果相关，例如[[Cover定理]]<ref>H. Lange, S. L. Brunton, and J. N. Kutz, From Fourier to Koopman: Spectral methods for long-term time series prediction, J. Mach. Learn. Res., 22 (2021), pp. 1--38. (Cited on pp. 235, 290, 291)</ref>，即[[非线性]]问题在更高维嵌入中往往变得更加线性。
同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman [[特征函数]]<ref name=lusch_2018>B. Lusch, J. N. Kutz, and S. L. Brunton, Deep learning for universal linear embeddings of nonlinear dynamics, Nature Commun., 9 (2018), art. 4950. (Cited on pp. 235, 284, 290, 291, 307)</ref>。[[变分自编码器]]也被用于[[随机动力系统]]，例如分子[[动力学]]，其中从潜在变量映射回[[物理]]构型空间的过程是[[概率]]性的。
相比之下，第二种范式，即测量值被提升到更高维空间，与[[机器学习]]中的许多结果相关，例如[[Cover定理]]<ref>H. Lange, S. L. Brunton, and J. N. Kutz, From Fourier to Koopman: Spectral methods for long-term time series prediction, J. Mach. Learn. Res., 22 (2021), pp. 1--38. (Cited on pp. 235, 290, 291)</ref>，即[[非线性]]问题在更高维嵌入中往往变得更加线性。
对于具有离散[[特征值]]谱的简单系统，可以用少量的[[自编码器]]变量获得紧凑的表征。然而，具有[[连续]][[特征值]]谱的[[动力学]]无法用标准的低维 Koopman 表示来描述。 Lusch、Kutz 和 Brunton 最近的一项工作<ref name=lusch_2018 />提出了一种可以用神经网络处理连续特征值谱动力学的方法。
对于具有离散[[特征值]]谱的简单系统，可以用少量的[[自编码器]]变量获得紧凑的表征。然而，具有[[连续]][[特征值]]谱的[[动力学]]无法用标准的低维 Koopman 表示来描述。 Lusch、Kutz 和 Brunton 最近的一项工作<ref name=lusch_2018 />提出了一种可以用神经网络处理连续特征值谱动力学的方法。