更改

其中<math>\langle K\psi_k, \psi_j \rangle</math>为 Koopman 算子 inner product 的真实值（作为误差基准）。结果显示不同积分规则的收敛速率差异显著：高斯 - 勒让德规则指数收敛；梯形规则<math>O(M^{-2})</math>；黎曼和规则<math>O(M^{-1})</math>；[[蒙特卡洛]]规则<math>O(M^{-1/2})</math>。

其中<math>\langle K\psi_k, \psi_j \rangle</math>为 Koopman 算子 inner product 的真实值（作为误差基准）。结果显示不同积分规则的收敛速率差异显著：高斯 - 勒让德规则指数收敛；梯形规则<math>O(M^{-2})</math>；黎曼和规则<math>O(M^{-1})</math>；[[蒙特卡洛]]规则<math>O(M^{-1/2})</math>。

[[文件:ResDMDGussian.png|无|缩略图|高斯迭代映射伪谱图与随着数据点𝑀数量增加，不同求积法则下Galerkin矩阵Ψ*<small>𝑋</small>𝑊Ψ<small>𝑌</small>的收敛情况。]]

[[文件:ResDMDGussian.png|500x500px|替代=|高斯迭代映射伪谱图与随着数据点𝑀数量增加，不同求积法则下Galerkin矩阵Ψ*<small>𝑋</small>𝑊Ψ<small>𝑌</small>的收敛情况。]]

==核DMD==

==核DMD==

尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的动力系统，Koopman 算子的特征函数也可能任意复杂，并且在有限基中只能被近似地表示。深度学习非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。除了利用神经网络来学习Koopman嵌入之外，Koopman理论也被应用于理解神经网络<ref>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020. (Cited on p. 290)</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097. (Cited on p. 290)</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059. (Cited on p. 290)</ref>。   

尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的动力系统，Koopman 算子的特征函数也可能任意复杂，并且在有限基中只能被近似地表示。深度学习非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。除了利用神经网络来学习Koopman嵌入之外，Koopman理论也被应用于理解神经网络<ref>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020. (Cited on p. 290)</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097. (Cited on p. 290)</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059. (Cited on p. 290)</ref>。   

[[文件:Neuralkoop.png|有框]]

[[文件:Neuralkoop.png|500x500px|替代=]]

目前主要有两种用于 Koopman 嵌入的深度神经网络（DNN）架构，如图 5.2 所示。在第一种架构中，深度自动编码器架构提取几个关键的潜在变量 <math>\mathbf{z} = \boldsymbol{\varphi}(\mathbf{x})</math> 来参数化动力学。在第二种架构中，高维输入数据被提升到更高的维度，在该维度下演化近似为线性的。在这两种 Koopman 神经网络中，都强制执行了一个额外的约束，即在这些潜在变量上的动力学必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性动力学的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。通常，线性度是在多个时间步长上强制执行的，因此会有额外的项 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+p}) - \mathbf{K}^p\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 被添加到损失函数中。

目前主要有两种用于Koopman嵌入的深度神经网络架构，如上图所示。在第一种架构中，深度自动编码器架构提取几个关键的潜在变量 <math>\mathbf{z} = \boldsymbol{\varphi}(\mathbf{x})</math> 来参数化动力学。在第二种架构中，高维输入数据被提升到更高的维度，在该维度下演化近似为线性的。在这两种 Koopman 神经网络中，都强制执行了一个额外的约束，即在这些潜在变量上的动力学必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性动力学的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。通常，线性度是在多个时间步长上强制执行的，因此会有额外的项 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+p}) - \mathbf{K}^p\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 被添加到损失函数中。

自动编码器网络具有低维潜在空间的优势，这可能促进可解释的解的产生。自动编码器已被广泛用于复杂系统建模，例如在流体力学中<ref>64</ref>，它们可以被视为 SVD 的非线性扩展，而 SVD 是 DMD 算法的核心。通过这种方式，基于自动编码器的深度 Koopman 网络可以被视为 DMD 的非线性推广。  

[[自编码器]]具有低维潜在空间的优势，这可能促进可解释的解的产生。[[自编码器]]已被广泛用于复杂系统建模，例如在流体力学中<ref>64</ref>，它们可以被视为SVD的非线性扩展，而SVD是 DMD 算法的核心。通过这种方式，基于[[自编码器]]的深度Koopman网络可以被视为DMD的推广。  

同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman 特征函数<ref>255, 147</ref>。变分自动编码器也被用于随机动力系统，例如分子动力学，其中从潜在变量映射回物理构型空间的过程是概率性的<ref>444, 274</ref>。相比之下，第二种范式，即测量值被提升到更高维空间，与机器学习中的许多结果相关，例如 Cover 定理<ref>232</ref>，即非线性问题在更高维嵌入中往往变得更加线性。   

同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman 特征函数<ref name=lusch_2018>B. Lusch, J. N. Kutz, and S. L. Brunton, Deep learning for universal linear embeddings of nonlinear dynamics, Nature Commun., 9 (2018), art. 4950. (Cited on pp. 235, 284, 290, 291, 307)</ref>。[[变分自编码器]]也被用于随机动力系统，例如分子动力学，其中从潜在变量映射回物理构型空间的过程是概率性的。相比之下，第二种范式，即测量值被提升到更高维空间，与机器学习中的许多结果相关，例如[[Cover定理]]<ref>H. Lange, S. L. Brunton, and J. N. Kutz, From Fourier to Koopman: Spectral methods for long-term time series prediction, J. Mach. Learn. Res., 22 (2021), pp. 1--38. (Cited on pp. 235, 290, 291)</ref>，即非线性问题在更高维嵌入中往往变得更加线性。   

对于具有离散特征值谱的简单系统，可以用少量的自动编码器变量获得紧凑的表示。然而，具有连续特征值谱的动力学无法用标准的低维 Koopman 表示（包括上述自动编码器网络）来描述。连续谱动力学普遍存在，范围从简单的摆到非线性光学和宽带湍流。例如，经典的摆，由下式给出 

对于具有离散特征值谱的简单系统，可以用少量的自编码器变量获得紧凑的表征。然而，具有连续特征值谱的动力学无法用标准的低维 Koopman 表示来描述。 Lusch、Kutz 和 Brunton 最近的一项工作<ref name=lusch_2018 />提出了一种可以用神经网络处理连续特征值谱动力学的方法。

<math>\ddot{x} = -\sin(\omega x),</math>

==时间延迟DMD==

==时间延迟DMD==