842
个编辑
更改
跳到导航
跳到搜索
第477行：
第477行： + − 尽管 Koopman 嵌入前景广阔，但获得易于处理的表示仍然是一个核心挑战。即使对于相对简单的动力系统，Koopman 算子的特征函数也可能任意复杂，并且在有限基中只能被近似地表示。深度学习非常适合表示这种任意复杂的函数，并且最近在发现和表示 Koopman 嵌入以及 Koopman 预测方面显示出了巨大的潜力<ref>444, 274, 422, 457, 330, 242, 255, 273, 20, 232, 118</ref>。除了利用神经网络来学习 Koopman 嵌入之外，Koopman 理论也被应用于理解神经网络<ref>272, 104</ref>以及更广泛的算法<ref>103</ref>。 + + + + + + + + + + +
→基于神经网络的DMD
核DMD的适用场景广泛，包括[[动力系统分析]]、[[预测建模]]和[[控制设计]]。例如，在[[流体动力学]]中，核DMD可以识别[[湍流]]中的相干结构，而在[[神经网络]]应用中，它能近似非线性动力学的演化。然而，核函数的选择（如高斯核、多项式核或线性核）对性能有显著影响，需要根据具体系统进行调整。总之，核DMD提供了一种高效且灵活的方式来扩展线性DMD，使其适用于现实世界中的非线性问题，同时保持了Koopman理论的理论严谨性。
核DMD的适用场景广泛，包括[[动力系统分析]]、[[预测建模]]和[[控制设计]]。例如，在[[流体动力学]]中，核DMD可以识别[[湍流]]中的相干结构，而在[[神经网络]]应用中，它能近似非线性动力学的演化。然而，核函数的选择（如高斯核、多项式核或线性核）对性能有显著影响，需要根据具体系统进行调整。总之，核DMD提供了一种高效且灵活的方式来扩展线性DMD，使其适用于现实世界中的非线性问题，同时保持了Koopman理论的理论严谨性。
==基于神经网络的DMD==
==基于神经网络的DMD==
尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的动力系统，Koopman 算子的特征函数也可能任意复杂，并且在有限基中只能被近似地表示。深度学习非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。除了利用神经网络来学习Koopman嵌入之外，Koopman理论也被应用于理解神经网络<ref>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020. (Cited on p. 290)</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097. (Cited on p. 290)</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059. (Cited on p. 290)</ref>。
[[文件:Neuralkoop.png|有框]]
目前主要有两种用于 Koopman 嵌入的深度神经网络（DNN）架构，如图 5.2 所示。在第一种架构中，深度自动编码器架构提取几个关键的潜在变量 <math>\mathbf{z} = \boldsymbol{\varphi}(\mathbf{x})</math> 来参数化动力学。在第二种架构中，高维输入数据被提升到更高的维度，在该维度下演化近似为线性的。在这两种 Koopman 神经网络中，都强制执行了一个额外的约束，即在这些潜在变量上的动力学必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性动力学的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。通常，线性度是在多个时间步长上强制执行的，因此会有额外的项 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+p}) - \mathbf{K}^p\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 被添加到损失函数中。
目前主要有两种用于 Koopman 嵌入的深度神经网络（DNN）架构，如图 5.2 所示。在第一种架构中，深度自动编码器架构提取几个关键的潜在变量 <math>\mathbf{z} = \boldsymbol{\varphi}(\mathbf{x})</math> 来参数化动力学。在第二种架构中，高维输入数据被提升到更高的维度，在该维度下演化近似为线性的。在这两种 Koopman 神经网络中，都强制执行了一个额外的约束，即在这些潜在变量上的动力学必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性动力学的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。通常，线性度是在多个时间步长上强制执行的，因此会有额外的项 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+p}) - \mathbf{K}^p\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 被添加到损失函数中。
自动编码器网络具有低维潜在空间的优势，这可能促进可解释的解的产生。自动编码器已被广泛用于复杂系统建模，例如在流体力学中<ref>64</ref>，它们可以被视为 SVD 的非线性扩展，而 SVD 是 DMD 算法的核心。通过这种方式，基于自动编码器的深度 Koopman 网络可以被视为 DMD 的非线性推广。
同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman 特征函数<ref>255, 147</ref>。变分自动编码器也被用于随机动力系统，例如分子动力学，其中从潜在变量映射回物理构型空间的过程是概率性的<ref>444, 274</ref>。相比之下，第二种范式，即测量值被提升到更高维空间，与机器学习中的许多结果相关，例如 Cover 定理<ref>232</ref>，即非线性问题在更高维嵌入中往往变得更加线性。
对于具有离散特征值谱的简单系统，可以用少量的自动编码器变量获得紧凑的表示。然而，具有连续特征值谱的动力学无法用标准的低维 Koopman 表示（包括上述自动编码器网络）来描述。连续谱动力学普遍存在，范围从简单的摆到非线性光学和宽带湍流。例如，经典的摆，由下式给出
<math>\ddot{x} = -\sin(\omega x),</math>
随着摆的振荡幅度增加，表现出从 <math>\omega</math> 到 0 的连续频率范围，如图 5.3 所示。因此，连续谱使得用少数 Koopman 特征函数进行简单描述变得困难。事实上，在远离线性区域的地方，需要无限的傅里叶和来近似频率的连续移动，这可能解释了为什么高维提升方法在 Koopman 神经网络中被广泛使用。
==时间延迟DMD==
==时间延迟DMD==