奇异值分解（SVD） - 版本历史

相信未来：/* 参考文献 */

2025-01-05T07:21:26Z

参考文献

2025年1月5日 (日) 07:21 相信未来

2025-01-05T07:21:08Z

相信未来：/* 其他例子 */

2025-01-05T07:14:07Z

其他例子

相信未来：/* 数值方法 */

2025-01-05T07:08:25Z

数值方法

相信未来：/* 奇异值和紧算子 */

2025-01-05T07:04:17Z

奇异值和紧算子

相信未来：/* 历史 */

2024-12-22T08:13:09Z

历史

相信未来：/* 历史 */

2024-12-22T08:07:12Z

历史

相信未来：/* 历史 */

2024-12-22T08:03:43Z

历史

相信未来：/* 希尔伯特空间上的有界算子 */

2024-12-22T07:59:32Z

希尔伯特空间上的有界算子

相信未来：/* Ky Fan范数 */

2024-12-22T07:46:21Z

Ky Fan范数

←上一版本		2025年1月5日 (日) 07:21的版本
第636行：		第636行：

	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''		'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''
−	~~[[Category:因果涌现]]~~
−	~~[[Category:信息论]]~~

@@ 第630行： / 第630行： @@
 ==参考文献==
 <references />
 ----
-本中文词条由刘宇康贡献，张江，王志鹏整理和审校，如有问题，欢迎在讨论页面留言。
+本中文词条由刘宇康贡献，张江和王志鹏整理和审校，如有问题，欢迎在讨论页面留言。

@@ 第285行： / 第285行： @@
 ===其他例子===
-奇异值分解(SVD)在线性[[反问题]]（inverse problems）研究中广泛应用，分析[[Tikhonov正则化]]等方法时颇有助益。统计学界普遍使用它，与[[主成分分析]]（principal component analysis）和[[对应分析]]（correspondence analysis）密切相关，[[信号处理]]和[[模式识别]]领域也常见其身影。此外，它还用于仅输出[[模态分析]]（modal analysis），可从奇异向量确定非缩放[[模态形状]]（mode shapes）。自然语言文本处理中的[[潜在语义索引]]（latent semantic indexing）也离不开它。
+奇异值分解(SVD)在线性[[反问题]]（inverse problems）研究中广泛应用，分析[[Tikhonov正则化]]等方法时颇有助益。统计学界普遍使用它，与[[主成分分析]]（principal component analysis）和[[对应分析]]（correspondence analysis）密切相关，[[信号处理]]和[[模式识别]]领域也常见其身影。此外，它还用于仅输出模态分析（modal analysis），可从奇异向量确定非缩放[[模态形状]]（mode shapes）。自然语言文本处理中的[[潜在语义索引]]（latent semantic indexing）也离不开它。
 在涉及线性或线性化系统的一般数值计算中，常用一个普遍常数来刻画问题的规律性或奇异性，即系统的"条件数" <math>\kappa := \sigma_{\text{max}} / \sigma_{\text{min}}</math>。这个数值通常决定了给定计算方案在这些系统上的误差率或收敛速度<ref>{{citation | last1=Edelman | first1=Alan | date=1992 |url=https://math.mit.edu/~edelman/publications/distribution_of_a_scaled.pdf| title="On the distribution of a scaled condition number" | journal=Math. Comp. | volume=58 | issue=197 | pages=185–190 | doi=10.1090/S0025-5718-1992-1106966-2 | bibcode=1992MaCom..58..185E}}</ref><ref>{{citation | last1=Shen | first1=Jianhong (Jackie) | date=2001 |url=https://linkinghub.elsevier.com/retrieve/pii/S0024379500003220| title="On the singular values of Gaussian random matrices" | journal=Linear Alg. Appl. | volume=326 | issue=1–3 | pages=1–14 | doi=10.1016/S0024-3795(00)00322-0}}</ref>。

@@ 第477行： / 第477行： @@
 * <math>\mathbf{M}</math>的非零奇异值（在<math>\mathbf{\Sigma}</math>的对角线上）等于<math>\mathbf{M}^{*}\mathbf{M}</math>和<math>\mathbf{M}\mathbf{M}^{*}</math>的非零[[特征值]]的平方根。
-通常，我们通过两步计算矩阵<math>\mathbf{M}</math>的SVD。第一步将矩阵简化为[[双对角矩阵]]（bidiagonal matrix），假设<math>m \geq n</math>，需要<math>O(mn^{2})</math>次浮点运算（flop）。第二步计算双对角矩阵的SVD，只能通过迭代方法完成。实际上，计算到机器精度就足够了。如果将这个精度视为常数，第二步需要<math>O(n)</math>次迭代，每次迭代花费<math>O(n)</math>次flop。因此，第一步耗时更长，总体成本为<math>O(mn^{2})</math>次flop<ref name="source2">{{cite book |last1=Trefethen |first1=Lloyd N. |last2=Bau |first2=David III |title=Numerical Linear Algebra |publisher=Society for Industrial and Applied Mathematics |year=1997 |location=Philadelphia |isbn=978-0-89871-361-9}}</ref>。
+通常，我们通过两步计算矩阵<math>\mathbf{M}</math>的SVD。第一步将矩阵简化为[[双对角矩阵]]（bidiagonal matrix），假设<math>m \geq n</math>，需要<math>O(mn^{2})</math>次浮点运算（flop）。第二步计算双对角矩阵的SVD，且只能通过迭代方法完成。实际上，计算到机器精度就足够了。如果将这个精度视为常数，第二步需要<math>O(n)</math>次迭代，每次迭代花费<math>O(n)</math>次flop。因此，第一步耗时更长，总体成本为<math>O(mn^{2})</math>次flop<ref name="source2">{{cite book |last1=Trefethen |first1=Lloyd N. |last2=Bau |first2=David III |title=Numerical Linear Algebra |publisher=Society for Industrial and Applied Mathematics |year=1997 |location=Philadelphia |isbn=978-0-89871-361-9}}</ref>。
 如果只需计算奇异值，第一步可用[[Householder反射]]以<math>4mn^{2}-4n^{3}/3</math>次flop完成。当<math>m</math>远大于<math>n</math>时，先用[[QR分解]]将矩阵<math>\mathbf{M}</math>简化为三角矩阵，再用Householder反射进一步简化为双对角形式更有优势；总成本为<math>2mn^{2}+2n^{3}</math>次flop<ref name = "source2"/>。

@@ 第610行： / 第610行： @@
 ===奇异值和紧算子===
-我们可以将奇异值和左/右奇异向量的概念推广到希尔伯特空间上的紧算子（compact operator on Hilbert space），因为它们具有离散谱。如果 <math>T</math> 是紧的，其谱中的每个非零 <math>\lambda</math> 都是特征值。此外，紧自伴算子可由其特征向量对角化。如果 <math>\mathbf{M}</math> 是紧的，那么 <math>\mathbf{M}^*\mathbf{M}</math> 也是紧的。应用对角化结果，其正平方根 <math>T_f</math> 的酉像有一组对应于严格正特征值 <math>\{\sigma_i\}</math> 的正交归一化特征向量 <math>\{e_i\}</math>。对 <math>H</math> 中的任意 <math>\psi</math>，有：
+我们可以将奇异值和左/右奇异向量的概念推广到希尔伯特空间上的紧算子（compact operator on Hilbert space），因为它们具有离散谱。如果 <math>T</math> 是紧的，其谱中的每个非零 <math>\lambda</math> 就都是特征值。此外，紧自伴算子可由其特征向量对角化。如果 <math>\mathbf{M}</math> 是紧的，那么 <math>\mathbf{M}^*\mathbf{M}</math> 也是紧的。应用对角化结果，其正平方根 <math>T_f</math> 的酉像有一组对应于严格正特征值 <math>\{\sigma_i\}</math> 的正交归一化特征向量 <math>\{e_i\}</math>。对 <math>H</math> 中的任意 <math>\psi</math>，有：
 <math>\mathbf{M}\psi = \mathbf{U}T_f\mathbf{V}^*\psi = \sum_i \langle \mathbf{U}T_f\mathbf{V}^*\psi, \mathbf{U}e_i \rangle \mathbf{U}e_i = \sum_i \sigma_i \langle \psi, \mathbf{V}e_i \rangle \mathbf{U}e_i,</math>

@@ 第626行： / 第626行： @@
 年，Erhard Schmidt 为[[积分算子]]（integral operators）（在某些弱技术假设下为紧算子）定义了类似奇异值的概念，他似乎不知道有关有限矩阵奇异值的平行研究。1910年，Émile Picard 进一步发展了这一理论，并首次将 <math>\sigma_k</math> 称为奇异值。
-计算奇异值分解的实用方法可追溯到1954-1955年 Kogbetliantz 和1958年 Hestenes 的工作<ref>{{cite journal |last1=Hestenes |first1=M. R. |title=Inversion of Matrices by Biorthogonalization and Related Results |journal=Journal of the Society for Industrial and Applied Mathematics |volume=6 |issue=1 |pages=51–90 |year=1958 |doi=10.1137/0106005 |jstor=2098862 |mr=0092215 }}</ref>。这些方法与使用平面旋转或 [[Givens 旋转]]的 [[Jacobi 特征值算法]]极为相似。然而，1965年 Gene Golub 和 William Kahan 发表的方法<ref name = "source3"/>取代了之前的方法，他们采用了 [[Householder 变换]]或反射。1970年，Golub 和 Christian Reinsch<ref>{{cite journal |last1=Golub |first1=G. H. |last2=Reinsch |first2=C. |title=Singular value decomposition and least squares solutions |journal=Numerische Mathematik |volume=14 |issue=5 |pages=403–420 |year=1970 |doi=10.1007/BF02163027 |mr=1553974 |s2cid=123532178 }}</ref> 发表了 Golub/Kahan 算法的一个变体，这个变体至今仍广泛应用。
+计算奇异值分解的实用方法可追溯到1954-1955年 Kogbetliantz 和1958年 Hestenes 的工作<ref>{{cite journal |last1=Hestenes |first1=M. R. |title=Inversion of Matrices by Biorthogonalization and Related Results |journal=Journal of the Society for Industrial and Applied Mathematics |volume=6 |issue=1 |pages=51–90 |year=1958 |doi=10.1137/0106005 |jstor=2098862 |mr=0092215 }}</ref>。这些方法与使用平面旋转或 [[Givens旋转]]的 [[Jacobi 特征值算法]]极为相似。然而，1965年 Gene Golub 和 William Kahan 发表的方法<ref name = "source3"/>取代了之前的方法，他们采用了 [[Householder 变换]]或反射。1970年，Golub 和 Christian Reinsch<ref>{{cite journal |last1=Golub |first1=G. H. |last2=Reinsch |first2=C. |title=Singular value decomposition and least squares solutions |journal=Numerische Mathematik |volume=14 |issue=5 |pages=403–420 |year=1970 |doi=10.1007/BF02163027 |mr=1553974 |s2cid=123532178 }}</ref> 发表了 Golub/Kahan 算法的一个变体，这个变体至今仍广泛应用。
 ==参考文献==

@@ 第622行： / 第622行： @@
 ==历史==
-奇异值分解最初源于微分几何学家的研究。他们希望确定能否通过对两个作用空间进行独立正交变换，使一个实[[双线性形式]]等同于另一个。1873年和1874年，Eugenio Beltrami 和 Camille Jordan 分别独立发现，双线性形式（用矩阵表示）的奇异值构成了正交替代下的完整不变量集（complete set of invariants）。1889年，James Joseph Sylvester 也独立得出了实方阵的奇异值分解，他将奇异值称为矩阵 <math>\mathbf{A}</math> 的规范乘子。1915年，Autonne 成为第四位独立发现者，他通过[[极分解]]推导出了奇异值分解。直到1936年，Carl Eckart 和 Gale J. Young 才首次证明了矩形和复矩阵的奇异值分解<ref>{{cite journal |last1=Eckart |first1=C. |last2=Young |first2=G. |title=The approximation of one matrix by another of lower rank |journal=Psychometrika |volume=1 |issue=3 |pages=211–8 |year=1936 |doi=10.1007/BF02288367 |s2cid=10163399 }}</ref>，他们将其视为[[厄米矩阵]][[主轴]]变换的推广。
+奇异值分解最初源于微分几何学家的研究。他们希望确定能否通过对两个作用空间进行独立正交变换，使一个实[[双线性形式]]等同于另一个。1873年和1874年，Eugenio Beltrami 和 Camille Jordan 分别独立发现，双线性形式（用矩阵表示）的奇异值构成了正交替代下的完整不变量集（complete set of invariants）。1889年，James Joseph Sylvester 也独立得出了实方阵的奇异值分解，他将奇异值称为矩阵 <math>\mathbf{A}</math> 的规范乘子。1915年，Autonne 成为第四位独立发现者，他通过[[极分解]]推导出了奇异值分解。直到1936年，Carl Eckart 和 Gale J. Young 才首次证明了矩形和复矩阵的奇异值分解<ref>{{cite journal |last1=Eckart |first1=C. |last2=Young |first2=G. |title=The approximation of one matrix by another of lower rank |journal=Psychometrika |volume=1 |issue=3 |pages=211–8 |year=1936 |doi=10.1007/BF02288367 |s2cid=10163399 }}</ref>，他们将其视为[[厄米矩阵]]主轴变换的推广。
 年，Erhard Schmidt 为[[积分算子]]（integral operators）（在某些弱技术假设下为紧算子）定义了类似奇异值的概念，他似乎不知道有关有限矩阵奇异值的平行研究。1910年，Émile Picard 进一步发展了这一理论，并首次将 <math>\sigma_k</math> 称为奇异值。

@@ 第596行： / 第596行： @@
 这里 <math>T_f</math> 是 <math>L^2(X,\mu)</math> 上的 <math>f</math> 乘法算子。
-我们可以通过模仿上述矩阵情况的线性代数论证来证明这一点。<math>\mathbf{V}T_f\mathbf{V}^*</math> 是 <math>\mathbf{M}^*\mathbf{M}</math> 的唯一正平方根，这由自伴算子（self-adjoint operators）的[[Borel函数演算]] (Borel functional calculus) 给出。<math>\mathbf{U}</math> 不必是酉的原因是，与有限维情况不同，给定具有非平凡核的等距算子 <math>U_1</math>，可能找不到合适的 <math>U_2</math> 使得：
+我们可以通过模仿上述矩阵情况的线性代数论证来证明这一点。<math>\mathbf{V}T_f\mathbf{V}^*</math> 是 <math>\mathbf{M}^*\mathbf{M}</math> 的唯一正平方根，这由[[自伴算子]]（self-adjoint operators）的[[Borel函数演算]] (Borel functional calculus) 给出。<math>\mathbf{U}</math> 不必是酉的原因是，与有限维情况不同，给定具有非平凡核的等距算子 <math>U_1</math>，可能找不到合适的 <math>U_2</math> 使得：
 <math>\begin{bmatrix}U_1\\U_2\end{bmatrix}</math>

@@ 第550行： / 第550行： @@
 ===Ky Fan范数===
-我们把<math>\mathbf{M}</math>的k个最大奇异值之和称为<math>\mathbf{M}</math>的[[Ky Fan]] k-范数，这是一种[[矩阵范数]]（matrix norm）<ref>{{citation | last1=Fan | first1=Ky | date=1951 |url=https://pmc.ncbi.nlm.nih.gov/articles/PMC1063464/| title="Maximum properties and inequalities for the eigenvalues of completely continuous operators" | journal=Proceedings of the National Academy of Sciences of the United States of America | volume=37 | issue=11 | pages=760–766 | doi=10.1073/pnas.37.11.760 | pmc=1063464 | pmid=16578416 | bibcode=1951PNAS...37..760F}}</ref>。
+我们把<math>\mathbf{M}</math>的k个最大奇异值之和称为<math>\mathbf{M}</math>的Ky Fan k-范数，这是一种[[矩阵范数]]（matrix norm）<ref>{{citation | last1=Fan | first1=Ky | date=1951 |url=https://pmc.ncbi.nlm.nih.gov/articles/PMC1063464/| title="Maximum properties and inequalities for the eigenvalues of completely continuous operators" | journal=Proceedings of the National Academy of Sciences of the United States of America | volume=37 | issue=11 | pages=760–766 | doi=10.1073/pnas.37.11.760 | pmc=1063464 | pmid=16578416 | bibcode=1951PNAS...37..760F}}</ref>。
 Ky Fan范数中的第一个，即Ky Fan 1-范数，等同于<math>\mathbf{M}</math>作为线性算子相对于<math>K^m</math>和<math>K^n</math>的欧几里得范数的[[算子范数]]（operator norm）。换言之，Ky Fan 1-范数就是标准<math>\ell^2</math>欧几里得内积诱导的算子范数。我们很容易就能验证Ky Fan 1-范数和奇异值之间的关系。一般来说，对于（可能是无限维）希尔伯特空间上的有界算子<math>\mathbf{M}</math>，我们有：