842
个编辑
更改
跳到导航
跳到搜索
第312行：
第312行： − + 第398行：
第398行： − + 第533行：
第533行： − + 第541行：
第541行： − + − + − + 第581行：
第581行： − + − +
无编辑摘要
在分析复杂的[[非线性系统]]时，传统的分析方法只能在不动点附近很小的领域内进行线性化处理，大大限制了我们对[[非线性系统]]的解释和预测。Koopman[[算子]]理论通过将系统的状态映射到由可观测函数构成的无穷维空间，从而在'''全局'''上将非线性动力学问题转化为一个无穷维线性算子问题。不过，这个理想的Koopman算子本身是无穷维的，无法直接计算。实践中，我们要利用Koopman不变子空间的概念（参见第3.3节），通过数据拟合出有限维的线性迭代系统，尽可能地逼近[[无限]]维的Koopman线性[[算子]]。
在分析复杂的[[非线性系统]]时，传统的分析方法只能在不动点附近很小的领域内进行线性化处理，大大限制了我们对[[非线性系统]]的解释和预测。Koopman[[算子]]理论通过将系统的状态映射到由可观测函数构成的无穷维空间，从而在'''全局'''上将非线性动力学问题转化为一个无穷维线性算子问题。不过，这个理想的Koopman算子本身是无穷维的，无法直接计算。实践中，我们要利用Koopman不变子空间的概念（参见第3.3节），通过数据拟合出有限维的线性迭代系统，尽可能地逼近[[无限]]维的Koopman线性[[算子]]。
那么如何用有限的、来自现实的数据，去逼近[[无限]]维的Koopman线性[[算子]]呢？最开始的方法是'''[[动力学模式分解]]（DMD，Dynamic Mode Decomposition）'''<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>，它直接把“[[状态变量]]本身”当作观测函数。然而，对于真正的[[非线性系统]]，DMD的近似就太粗糙了。故此后学者们围绕着“如何更有效地拓展观测空间”与“如何优化求解过程”展开。'''扩展动态[[模式分解]]（EDMD, Extended Dynamic Mode Decomposition）'''<ref name=william_2015>M. O. Williams, I. G. Kevrekidis, and C. W. Rowley, A data-driven approximation of the Koopman operator: Extending dynamic mode decomposition, J. Nonlinear Sci., 6 (2015), pp. 1307--1346. (Cited on pp. 246, 247, 256, 284, 285, 292)</ref>通过预定义的[[非线性]]函数显式拓展；'''残差动态[[模式分解]]（ResDMD, Residual DMD）'''<ref name=Colbrook_2023>Colbrook, M. J., Ayton, L. J. & Szőke, M. Residual dynamic mode decomposition: Robust and verified koopmanism. J. Fluid Mech. 955, A21 (2023).</ref><ref name=Colbrook_2024>Colbrook, M. J. & Townsend, A. Rigorous data‐driven computation of spectral properties of koopman operators for dynamical systems. Commun. Pure Appl. Math. 77, 221–283 (2024).</ref>致力于严格评估逼近精度并筛选可靠模态；'''核动态[[模式分解]]（Kernel DMD）'''<ref name=william_2015_kernal>M. O. Williams, C. W. Rowley, and I. G. Kevrekidis, A kernel approach to data-driven Koopman spectral analysis, J. Comput. Dynam., 2 (2015), pp. 247--265. (Cited on pp. 255, 256, 284, 285, 294, 318)</ref><ref name=Gonzalez_2023_kernal>Gonzalez, E., Abudia, M., Jury, M., Kamalapurkar, R. & Rosenfeld, J. A. The kernel perspective on dynamic mode decomposition. Preprint at https://doi.org/10.48550/arXiv.2106.00106 (2023).</ref>利用[[核技巧]]隐式构建观测函数空间；'''基于[[神经网络]]的动态[[模式分解]]（[[Neural Network]] DMD）'''<ref name=CW2018>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref name=NT2017>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>用[[深度学习]]自动学习最优的拓展方式；'''时间延迟动态[[模式分解]]（Time-delay DMD/Hankel DMD）'''<ref name=brunton_2017>S. L. Brunton, B. W. Brunton, J. L. Proctor, E. Kaiser, and J. N. Kutz, Chaos as an intermittently forced linear system, Nature Commun., 8 (2017), pp. 1--9. (Cited on pp. 257, 275, 284, 287, 288, 289, 294)</ref>通过历史数据构造[[嵌入空间]]；'''[[随机]]动态[[模式分解]]（Randomized DMD）'''<ref name=ranDMD>Erichson, N. B., Mathelin, L., Kutz, J. N. & Brunton, S. L. Randomized dynamic mode decomposition. Siam J. Appl. Dyn. Syst. 18, 1867–1891 (2019)</ref>专注于利用[[随机]]算法提升高维问题的计算效率；'''最优[[模式分解]]（OPD/Optimal DMD）'''<ref name=opdmd>T. Askham and J. N. Kutz, Variable projection methods for an optimized dynamic mode decomposition, SIAM J. Appl. Dyn. Syst., 17 (2018), pp. 380--416, https://doi.org/10. 1137/M1124176. (Cited on pp. 253, 254)</ref>将问题重构为全局[[非线性]]优化以求取最佳拟合；'''多分辨率动态[[模式分解]]（mrDMD, Multiresolution DMD）'''<ref name=mrdmd>J. N. Kutz, X. Fu, and S. L. Brunton, Multiresolution dynamic mode decomposition, SIAM J. Appl. Dyn. Syst., 15 (2016), pp. 713--735, https://doi.org/10.1137/15M1023543. (Cited on pp. 257, 278)</ref>则能分离系统在不同时间尺度或层次上的[[动力学]]；'''前向-后向动态[[模式分解]]（fbDMD, forward-backward DMD）'''<ref name=fbdmd>S. T. Dawson, M. S. Hemati, M. O. Williams, and C. W. Rowley, Characterizing and correcting for the effect of sensor noise in the dynamic mode decomposition, Exp. Fluids, 57 (2016), pp. 1--19. (Cited on p. 253)</ref>通过平均正反向数据提升稳定性；'''张量动态[[模式分解]]（Tensor DMD）'''<ref name=tensordmd>S. Klus, P. Gel{\ss}, S. Peitz, and C. Sch\"utte, Tensor-based dynamic mode decomposition, Nonlinearity, 31 (2018), pp. 3359--3380. (Cited on p. 257)</ref>处理具有空间结构的多维数据；'''受控动态[[模式分解]]（Controlled DMD）'''<ref name=DMDc>J. L. Proctor, S. L. Brunton, and J. N. Kutz, Dynamic mode decomposition with control, SIAM J. Appl. Dyn. Syst., 15 (2016), pp</ref>则旨在辨识含外部输入系统的Koopman模型。DMD算法现在已经扩展出许多不同的版本，在这里只是罗列的部分情况，下文会对主流的几种方法进行更详细的介绍，其他算法请参考文献。
那么如何用有限的、来自现实的数据，去逼近[[无限]]维的Koopman线性[[算子]]呢？最开始的方法是'''[[动力学模式分解]]（DMD，Dynamic Mode Decomposition）'''<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008.</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28.</ref>，它直接把“[[状态变量]]本身”当作观测函数。然而，对于真正的[[非线性系统]]，DMD的近似就太粗糙了。故此后学者们围绕着“如何更有效地拓展观测空间”与“如何优化求解过程”展开。'''扩展动态[[模式分解]]（EDMD, Extended Dynamic Mode Decomposition）'''<ref name=william_2015>M. O. Williams, I. G. Kevrekidis, and C. W. Rowley, A data-driven approximation of the Koopman operator: Extending dynamic mode decomposition, J. Nonlinear Sci., 6 (2015), pp. 1307--1346. (Cited on pp. 246, 247, 256, 284, 285, 292)</ref>通过预定义的[[非线性]]函数显式拓展；'''残差动态[[模式分解]]（ResDMD, Residual DMD）'''<ref name=Colbrook_2023>Colbrook, M. J., Ayton, L. J. & Szőke, M. Residual dynamic mode decomposition: Robust and verified koopmanism. J. Fluid Mech. 955, A21 (2023).</ref><ref name=Colbrook_2024>Colbrook, M. J. & Townsend, A. Rigorous data‐driven computation of spectral properties of koopman operators for dynamical systems. Commun. Pure Appl. Math. 77, 221–283 (2024).</ref>致力于严格评估逼近精度并筛选可靠模态；'''核动态[[模式分解]]（Kernel DMD）'''<ref name=william_2015_kernal>M. O. Williams, C. W. Rowley, and I. G. Kevrekidis, A kernel approach to data-driven Koopman spectral analysis, J. Comput. Dynam., 2 (2015), pp. 247--265. (Cited on pp. 255, 256, 284, 285, 294, 318)</ref><ref name=Gonzalez_2023_kernal>Gonzalez, E., Abudia, M., Jury, M., Kamalapurkar, R. & Rosenfeld, J. A. The kernel perspective on dynamic mode decomposition. Preprint at https://doi.org/10.48550/arXiv.2106.00106 (2023).</ref>利用[[核技巧]]隐式构建观测函数空间；'''基于[[神经网络]]的动态[[模式分解]]（[[Neural Network]] DMD）'''<ref name=CW2018>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref name=NT2017>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>用[[深度学习]]自动学习最优的拓展方式；'''时间延迟动态[[模式分解]]（Time-delay DMD/Hankel DMD）'''<ref name=brunton_2017>S. L. Brunton, B. W. Brunton, J. L. Proctor, E. Kaiser, and J. N. Kutz, Chaos as an intermittently forced linear system, Nature Commun., 8 (2017), pp. 1--9. (Cited on pp. 257, 275, 284, 287, 288, 289, 294)</ref>通过历史数据构造[[嵌入空间]]；'''[[随机]]动态[[模式分解]]（Randomized DMD）'''<ref name=ranDMD>Erichson, N. B., Mathelin, L., Kutz, J. N. & Brunton, S. L. Randomized dynamic mode decomposition. Siam J. Appl. Dyn. Syst. 18, 1867–1891 (2019)</ref>专注于利用[[随机]]算法提升高维问题的计算效率；'''最优[[模式分解]]（OPD/Optimal DMD）'''<ref name=opdmd>T. Askham and J. N. Kutz, Variable projection methods for an optimized dynamic mode decomposition, SIAM J. Appl. Dyn. Syst., 17 (2018), pp. 380--416, https://doi.org/10. 1137/M1124176. (Cited on pp. 253, 254)</ref>将问题重构为全局[[非线性]]优化以求取最佳拟合；'''多分辨率动态[[模式分解]]（mrDMD, Multiresolution DMD）'''<ref name=mrdmd>J. N. Kutz, X. Fu, and S. L. Brunton, Multiresolution dynamic mode decomposition, SIAM J. Appl. Dyn. Syst., 15 (2016), pp. 713--735, https://doi.org/10.1137/15M1023543. (Cited on pp. 257, 278)</ref>则能分离系统在不同时间尺度或层次上的[[动力学]]；'''前向-后向动态[[模式分解]]（fbDMD, forward-backward DMD）'''<ref name=fbdmd>S. T. Dawson, M. S. Hemati, M. O. Williams, and C. W. Rowley, Characterizing and correcting for the effect of sensor noise in the dynamic mode decomposition, Exp. Fluids, 57 (2016), pp. 1--19. (Cited on p. 253)</ref>通过平均正反向数据提升稳定性；'''张量动态[[模式分解]]（Tensor DMD）'''<ref name=tensordmd>S. Klus, P. Gel{\ss}, S. Peitz, and C. Sch\"utte, Tensor-based dynamic mode decomposition, Nonlinearity, 31 (2018), pp. 3359--3380.</ref>处理具有空间结构的多维数据；'''受控动态[[模式分解]]（Controlled DMD）'''<ref name=DMDc>J. L. Proctor, S. L. Brunton, and J. N. Kutz, Dynamic mode decomposition with control, SIAM J. Appl. Dyn. Syst., 15 (2016), pp</ref>则旨在辨识含外部输入系统的Koopman模型。DMD算法现在已经扩展出许多不同的版本，在这里只是罗列的部分情况，下文会对主流的几种方法进行更详细的介绍，其他算法请参考文献。
==[[动力学模式分解]]（DMD）==
==[[动力学模式分解]]（DMD）==
在实际应用中，我们通常会将原始状态<math>\mathbf{x}</math>也包含在扩展eDMD[[向量]]<math>\mathbf{z}</math>中。然而，有研究表明<ref name=Brunton_2016 />，对于包含多个[[不动点]]、周期轨道或其他[[吸引子]]的系统，如果在eDMD中引入状态<math>\mathbf{x}</math>，会导致观测空间不是Koopman不变子空间。此外，这类系统无法与具有单个不动点的有限维线性eDMD系统[[拓扑共轭]]。例如，[[Duffing振子]]系统有三个不动点，因此没有任何有限线性系统可以准确地全局拟合状态<math>\mathbf{x}</math>的演化。不过，像[[哈密顿量]]这样的特征函数可能能够被准确地展开。因此，区分出准确和伪特征函数对于eDMD来说至关重要。
在实际应用中，我们通常会将原始状态<math>\mathbf{x}</math>也包含在扩展eDMD[[向量]]<math>\mathbf{z}</math>中。然而，有研究表明<ref name=Brunton_2016 />，对于包含多个[[不动点]]、周期轨道或其他[[吸引子]]的系统，如果在eDMD中引入状态<math>\mathbf{x}</math>，会导致观测空间不是Koopman不变子空间。此外，这类系统无法与具有单个不动点的有限维线性eDMD系统[[拓扑共轭]]。例如，[[Duffing振子]]系统有三个不动点，因此没有任何有限线性系统可以准确地全局拟合状态<math>\mathbf{x}</math>的演化。不过，像[[哈密顿量]]这样的特征函数可能能够被准确地展开。因此，区分出准确和伪特征函数对于eDMD来说至关重要。
防止过拟合的一种方法是推广稀疏性，比如[[SINDy]]（Sparse Identification of Nonlinear Dynamics）方法<ref name=brunton_2016_sindy>S. L. Brunton, J. L. Proctor, and J. N. Kutz, Discovering governing equations from data by sparse identification of nonlinear dynamical systems, Proc. Natl. Acad. Sci. USA, 113 (2016), pp. 3932--3937. (Cited on pp. 255, 257, 286)</ref>。它可以基于一些约束条件筛选观测函数，从<math>{g_k(\mathbf{x})}_{k=1}^p</math>中选择最重要的几项即可。
防止过拟合的一种方法是推广稀疏性，比如[[SINDy]]（Sparse Identification of Nonlinear Dynamics）方法<ref name=brunton_2016_sindy>S. L. Brunton, J. L. Proctor, and J. N. Kutz, Discovering governing equations from data by sparse identification of nonlinear dynamical systems, Proc. Natl. Acad. Sci. USA, 113 (2016), pp. 3932--3937.</ref>。它可以基于一些约束条件筛选观测函数，从<math>{g_k(\mathbf{x})}_{k=1}^p</math>中选择最重要的几项即可。
与标准DMD类似，矩阵<math>\mathbf{Z}</math>中的数据不必来源于单条轨迹，也可以通过更高效的[[采样]]方式获取，比如[[拉丁超立方采样]]，或在[[相空间]]中[[随机]][[采样]]。在这种情况下，<math>\mathbf{Z}'</math>中的数据则通过将<math>\mathbf{Z}</math>中的数据沿[[动力学系统]]向前推进一个时间步获得。
与标准DMD类似，矩阵<math>\mathbf{Z}</math>中的数据不必来源于单条轨迹，也可以通过更高效的[[采样]]方式获取，比如[[拉丁超立方采样]]，或在[[相空间]]中[[随机]][[采样]]。在这种情况下，<math>\mathbf{Z}'</math>中的数据则通过将<math>\mathbf{Z}</math>中的数据沿[[动力学系统]]向前推进一个时间步获得。
尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的[[动力系统]]，Koopman [[算子]]的[[特征函数]]也可能任意复杂，并且在有限基中只能被近似地表示。[[深度学习]]非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref name=CW2018>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref name=NT2017>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。
尽管Koopman数据驱动算法前景广阔，但要选取合适的观测函数仍然是一个核心挑战。即使对于相对简单的[[动力系统]]，Koopman [[算子]]的[[特征函数]]也可能任意复杂，并且在有限基中只能被近似地表示。[[深度学习]]非常适合表示这种任意复杂的函数，并且最近在Koopman 预测方面显示出了巨大的潜力<ref name=CW2018>C. Wehmeyer and F. Noe\', Time-lagged autoencoders: Deep learning of slow collective variables for molecular kinetics, J. Chem. Phys., 148 (2018), pp. 1--9. (Cited on pp. 284, 290, 291)</ref><ref name=NT2017>N. Takeishi, Y. Kawahara, and T. Yairi, Learning Koopman invariant subspaces for dynamic mode decomposition, in Advances in Neural Information Processing Systems, 2017, pp. 1130--1140. (Cited on pp. 284, 290)</ref>。
除了利用[[神经网络]]来学习Koopman嵌入之外，[[Koopman理论]]也被应用于理解[[神经网络]]<ref name=IM2020>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020. (Cited on p. 290)</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097. (Cited on p. 290)</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059. (Cited on p. 290)</ref>。
除了利用[[神经网络]]来学习Koopman嵌入之外，[[Koopman理论]]也被应用于理解[[神经网络]]<ref name=IM2020>I. Manojlovic\', M. Fonoberova, R. Mohr, A. Andrejc\v uk, Z. Drmac\v , Y. Kevrekidis, and I. Mezic\', Applications of Koopman Mode Analysis to Neural Networks, preprint, https://arxiv.org/abs/2006.11765, 2020.</ref><ref>A. S. Dogra and W. T. Redman, Optimizing neural networks via Koopman operator theory, in Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, eds., Curran Associates, 2020, pp. 2087--2097.</ref>以及更广泛的算法<ref>F. Dietrich, T. N. Thiem, and I. G. Kevrekidis, On the Koopman operator of algorithms, SIAM J. Appl. Dyn. Syst., 19 (2020), pp. 860--885, https://doi.org/10.1137/19M1277059.</ref>。
[[文件:Neuralkoop.png|无|两种用于Koopman嵌入的深度神经网络架构<ref name=IM2020 />|缩略图|600x600像素]]<br>
[[文件:Neuralkoop.png|无|两种用于Koopman嵌入的深度神经网络架构<ref name=IM2020 />|缩略图|600x600像素]]<br>
在这两种 Koopman [[神经网络]]中，都强制执行了一个额外的约束，即在这些潜在变量上的[[动力学]]必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性[[动力学]]的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。
在这两种 Koopman [[神经网络]]中，都强制执行了一个额外的约束，即在这些潜在变量上的[[动力学]]必须是线性的，由矩阵 <math>\mathbf{K}</math> 给出。线性[[动力学]]的约束通过损失函数 <math>\|\boldsymbol{\varphi}(\mathbf{x}_{k+1}) - \mathbf{K}\boldsymbol{\varphi}(\mathbf{x}_k)\|</math> 来强制执行，其中 <math>\mathbf{K}</math> 是一个矩阵。
[[自编码器]]具有低维潜在空间的优势，这可能促进可解释的解的产生。[[自编码器]]已被广泛用于[[复杂系统]]建模，例如在[[流体力学]]中<ref>S. L. Brunton, B. R. Noack, and P. Koumoutsakos, Machine learning for fluid mechanics, Annu. Rev. Fluid Mech., 52 (2020), pp. 477--508. (Cited on pp. 259, 290)</ref>，它们可以被视为[[SVD]]的[[非线性]]扩展，而[[SVD]]是 DMD 算法的核心。通过这种方式，基于[[自编码器]]的深度Koopman网络可以被视为DMD的推广。
[[自编码器]]具有低维潜在空间的优势，这可能促进可解释的解的产生。[[自编码器]]已被广泛用于[[复杂系统]]建模，例如在[[流体力学]]中<ref>S. L. Brunton, B. R. Noack, and P. Koumoutsakos, Machine learning for fluid mechanics, Annu. Rev. Fluid Mech., 52 (2020), pp. 477--508.</ref>，它们可以被视为[[SVD]]的[[非线性]]扩展，而[[SVD]]是 DMD 算法的核心。通过这种方式，基于[[自编码器]]的深度Koopman网络可以被视为DMD的推广。
同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman [[特征函数]]<ref name=lusch_2018>B. Lusch, J. N. Kutz, and S. L. Brunton, Deep learning for universal linear embeddings of nonlinear dynamics, Nature Commun., 9 (2018), art. 4950. (Cited on pp. 235, 284, 290, 291, 307)</ref>。[[变分自编码器]]也被用于[[随机动力系统]]，例如分子[[动力学]]，其中从潜在变量映射回[[物理]]构型空间的过程是[[概率]]性的。
同样，如果矩阵 <math>\mathbf{K}</math> 被对角化，那么嵌入函数 <math>\varphi</math> 就对应于 Koopman [[特征函数]]<ref name=lusch_2018>B. Lusch, J. N. Kutz, and S. L. Brunton, Deep learning for universal linear embeddings of nonlinear dynamics, Nature Commun., 9 (2018), art. 4950.</ref>。[[变分自编码器]]也被用于[[随机动力系统]]，例如分子[[动力学]]，其中从潜在变量映射回[[物理]]构型空间的过程是[[概率]]性的。
相比之下，第二种范式，即测量值被提升到更高维空间，与[[机器学习]]中的许多结果相关，例如[[Cover定理]]<ref>H. Lange, S. L. Brunton, and J. N. Kutz, From Fourier to Koopman: Spectral methods for long-term time series prediction, J. Mach. Learn. Res., 22 (2021), pp. 1--38. (Cited on pp. 235, 290, 291)</ref>，即[[非线性]]问题在更高维嵌入中往往变得更加线性。
相比之下，第二种范式，即测量值被提升到更高维空间，与[[机器学习]]中的许多结果相关，例如[[Cover定理]]<ref>H. Lange, S. L. Brunton, and J. N. Kutz, From Fourier to Koopman: Spectral methods for long-term time series prediction, J. Mach. Learn. Res., 22 (2021), pp. 1--38.</ref>，即[[非线性]]问题在更高维嵌入中往往变得更加线性。
对于具有离散[[特征值]]谱的简单系统，可以用少量的[[自编码器]]变量获得紧凑的表征。然而，具有[[连续]][[特征值]]谱的[[动力学]]无法用标准的低维 Koopman 表示来描述。 Lusch、Kutz 和 Brunton 最近的一项工作<ref name=lusch_2018 />提出了一种可以用神经网络处理连续特征值谱动力学的方法。
对于具有离散[[特征值]]谱的简单系统，可以用少量的[[自编码器]]变量获得紧凑的表征。然而，具有[[连续]][[特征值]]谱的[[动力学]]无法用标准的低维 Koopman 表示来描述。 Lusch、Kutz 和 Brunton 最近的一项工作<ref name=lusch_2018 />提出了一种可以用神经网络处理连续特征值谱动力学的方法。
任意选取的Hankel矩阵可能不满足Koopman不变子空间的要求。对于足够的数据量，系统将收敛到一个[[吸引子]]，使得 <math>\mathbf{H}</math> 的列变得近似线性相关。在这种情况下，可以通过计算 <math>\mathbf{H}</math> 的[[SVD]]可以获得一个Koopman不变子空间。这实际上是对原本的Hankel矩阵进行了低秩近似，从而让我们可以用部分的奇异向量代替原本的Hankel矩阵进行拟合估计。对于[[Lorenz系统]]的[[吸引子]]，我们用前3个右奇异向量便重构出了原系统的大致运动情况，如图中右上角所示。
任意选取的Hankel矩阵可能不满足Koopman不变子空间的要求。对于足够的数据量，系统将收敛到一个[[吸引子]]，使得 <math>\mathbf{H}</math> 的列变得近似线性相关。在这种情况下，可以通过计算 <math>\mathbf{H}</math> 的[[SVD]]可以获得一个Koopman不变子空间。这实际上是对原本的Hankel矩阵进行了低秩近似，从而让我们可以用部分的奇异向量代替原本的Hankel矩阵进行拟合估计。对于[[Lorenz系统]]的[[吸引子]]，我们用前3个右奇异向量便重构出了原系统的大致运动情况，如图中右上角所示。
另外在实践中，对于具有混沌性质的动力系统还需要注意动力学封闭性的问题，仅靠升维可能是不够的。Champion, Brunton 和 Kutz等人表明<ref name=champion_2019>K. P. Champion, S. L. Brunton, and J. N. Kutz, Discovery of nonlinear multiscale systems: Sampling strategies and embeddings, SIAM J. Appl. Dyn. Syst., 18 (2019), pp. 312--333, https://doi.org/10.1137/18M1188227. (Cited on pp. 288, 289)</ref>，对于[[混沌系统]]，即使有近似Koopman不变的测量系统，在识别封闭的线性模型方面仍存在挑战。无论多么高维的线性模型，都无法捕捉多个[[不动点]]或具有正[[Lyapunov指数]]的[[混沌]]所特有的不可预测行为<ref name=Brunton_2016>S. L. Brunton, B. W. Brunton, J. L. Proctor, and J. N. Kutz, Koopman invariant subspaces and finite linear representations of nonlinear dynamical systems for control, PLoS ONE, 11 (2016), art. e0150171. (Cited on pp. 234, 247, 248, 254, 284, 285, 286, 288, 295, 308, 309, 312, 318)</ref>。与其构建一个封闭的线性模型，不如在前 <math>p-1</math> 个变量上构建一个线性模型，并将最后一个变量强加为一个外力项<ref name=brunton_2017 />。
另外在实践中，对于具有混沌性质的动力系统还需要注意动力学封闭性的问题，仅靠升维可能是不够的。Champion, Brunton 和 Kutz等人表明<ref name=champion_2019>K. P. Champion, S. L. Brunton, and J. N. Kutz, Discovery of nonlinear multiscale systems: Sampling strategies and embeddings, SIAM J. Appl. Dyn. Syst., 18 (2019), pp. 312--333, https://doi.org/10.1137/18M1188227.</ref>，对于[[混沌系统]]，即使有近似Koopman不变的测量系统，在识别封闭的线性模型方面仍存在挑战<ref name=mezic_2022>Mezić, I. (2022). On Numerical Approximations of the Koopman Operator. Mathematics, 10(7), 1180. https://doi.org/10.3390/math10071180</ref>。无论多么高维的线性模型，都无法捕捉多个[[不动点]]或具有正[[Lyapunov指数]]的[[混沌]]所特有的不可预测行为<ref name=Brunton_2016>S. L. Brunton, B. W. Brunton, J. L. Proctor, and J. N. Kutz, Koopman invariant subspaces and finite linear representations of nonlinear dynamical systems for control, PLoS ONE, 11 (2016), art. e0150171.</ref><ref name-mezic_2022 />。与其构建一个封闭的线性模型，不如在前 <math>p-1</math> 个变量上构建一个线性模型，并将最后一个变量强加为一个外力项<ref name=brunton_2017 />。
如上图所示，在所探索的[[Lorenz系统]]示例中<ref name=brunton_2017 />，前<math>r-1</math> 项的线性模型是准确的，而没有线性模型能表示 <math>v_r</math>。相反，<math>v_r</math> 应该是线性动力学的外来输入。<math>v_r(t)</math> 的统计数据是非高斯的，具有长尾，也就意味着显著存在罕见的波动事件。这种外力变量的罕见变化对应于驱动 Lorenz 系统中的波瓣切换,如图中左下角红色标注的波峰所示。这种分析架构被称为 Koopman 的 Hankel 替代视图分析 (Hankel alternative view of the Koopman，[[HAVOK]])<ref name=brunton_2017 />。
如上图所示，在所探索的[[Lorenz系统]]示例中<ref name=brunton_2017 />，前<math>r-1</math> 项的线性模型是准确的，而没有线性模型能表示 <math>v_r</math>。相反，<math>v_r</math> 应该是线性动力学的外来输入。<math>v_r(t)</math> 的统计数据是非高斯的，具有长尾，也就意味着显著存在罕见的波动事件。这种外力变量的罕见变化对应于驱动 Lorenz 系统中的波瓣切换,如图中左下角红色标注的波峰所示。这种分析架构被称为 Koopman 的 Hankel 替代视图分析 (Hankel alternative view of the Koopman，[[HAVOK]])<ref name=brunton_2017 />。
Hankel矩阵在[[系统]]辨识中已使用了几十年，例如在[[ERA]]<ref>J. N. Juang and R. S. Pappa, An eigensystem realization algorithm for modal parameter identification and model reduction, J. Guidance Control Dynam., 8 (1985), pp. 620--627. (Cited on pp. 262, 289, 303)</ref>和奇异谱分析(singular spectrum analysis，SSA)<ref>R. W. Brockett, Optimal control of the Liouville equation, in Proceedings of the International Conference on Complex Geometry and Related Fields, AMS/IP Stud. Adv. Math. 39, AMS, 2007, pp. 23--35. (Cited on p. 300)</ref>中。这些早期算法是专门为线性[[系统]]开发的，尽管它们常被应用于弱[[非线性系统]]，但当时尚不清楚如何解释由这些方法产生的模型和分解。
Hankel矩阵在[[系统]]辨识中已使用了几十年，例如在[[ERA]]<ref>J. N. Juang and R. S. Pappa, An eigensystem realization algorithm for modal parameter identification and model reduction, J. Guidance Control Dynam., 8 (1985), pp. 620--627.</ref>和奇异谱分析(singular spectrum analysis，SSA)<ref>R. W. Brockett, Optimal control of the Liouville equation, in Proceedings of the International Conference on Complex Geometry and Related Fields, AMS/IP Stud. Adv. Math. 39, AMS, 2007, pp. 23--35.</ref>中。这些早期算法是专门为线性[[系统]]开发的，尽管它们常被应用于弱[[非线性系统]]，但当时尚不清楚如何解释由这些方法产生的模型和分解。
现代Koopman[[算子]]理论为在[[非线性系统]]中解释这些经典的基于Hankel方法的结果提供了一个有价值的新视角。在 Hankel 矩阵上计算 DMD 的做法最早由Tu等人<ref name=Tu_2014 />提出，并由Brunton等人<ref name=brunton_neural>B. W. Brunton, L. A. Johnson, J. G. Ojemann, and J. N. Kutz, Extracting spatial-- temporal coherent patterns in large-scale neural recordings using dynamic mode decomposition, J. Neurosci. Methods, 258 (2016), pp. 1--15, https://doi.org/10.1016/j.jneumeth. 2015.10.010. (Cited on pp. 237, 238, 257, 260, 261, 278, 289)</ref>用于[[神经科学]]领域。Hankel矩阵与Koopman[[算子]]之间的联系，由 Brunton等人<ref name=brunton_2017 />在[[HAVOK]]框架中建立。随后的一些工作为该方法提供了更完善的理论基础<ref name=arbabi_2017>H. Arbabi and I. Mezic\', Ergodic theory, dynamic mode decomposition, and computation of spectral properties of the Koopman operator, SIAM J. Appl. Dyn. Syst., 16 (2017), pp. 2096--2126, https://doi.org/10.1137/17M1125236. (Cited on pp. 257, 275, 289, 292, 294)</ref><ref name=das_2019>S. Das and D. Giannakis, Delay-coordinate maps and the spectra of Koopman operators, J. Statist. Phys., 175 (2019), pp. 1107--1145. (Cited on pp. 257, 289, 293)</ref>。[[HAVOK]] 方法也常被称为延迟DMD<ref name=Tu_2014 />或Hankel-DMD<ref name=arbabi_2017 />。
现代Koopman[[算子]]理论为在[[非线性系统]]中解释这些经典的基于Hankel方法的结果提供了一个有价值的新视角。在 Hankel 矩阵上计算 DMD 的做法最早由Tu等人<ref name=Tu_2014 />提出，并由Brunton等人<ref name=brunton_neural>B. W. Brunton, L. A. Johnson, J. G. Ojemann, and J. N. Kutz, Extracting spatial-- temporal coherent patterns in large-scale neural recordings using dynamic mode decomposition, J. Neurosci. Methods, 258 (2016), pp. 1--15, https://doi.org/10.1016/j.jneumeth. 2015.10.010. (Cited on pp. 237, 238, 257, 260, 261, 278, 289)</ref>用于[[神经科学]]领域。Hankel矩阵与Koopman[[算子]]之间的联系，由 Brunton等人<ref name=brunton_2017 />在[[HAVOK]]框架中建立。随后的一些工作为该方法提供了更完善的理论基础<ref name=arbabi_2017>H. Arbabi and I. Mezic\', Ergodic theory, dynamic mode decomposition, and computation of spectral properties of the Koopman operator, SIAM J. Appl. Dyn. Syst., 16 (2017), pp. 2096--2126, https://doi.org/10.1137/17M1125236. (Cited on pp. 257, 275, 289, 292, 294)</ref><ref name=das_2019>S. Das and D. Giannakis, Delay-coordinate maps and the spectra of Koopman operators, J. Statist. Phys., 175 (2019), pp. 1107--1145. (Cited on pp. 257, 289, 293)</ref>。[[HAVOK]] 方法也常被称为延迟DMD<ref name=Tu_2014 />或Hankel-DMD<ref name=arbabi_2017 />。