更改

跳到导航 跳到搜索
添加12字节 、 2024年10月19日 (六) 18:52
第182行: 第182行:     
1. 一个 <math>m \times n</math> 矩阵 <math>\mathbf{M}</math> 最多有 <math>p</math> 个不同的奇异值。
 
1. 一个 <math>m \times n</math> 矩阵 <math>\mathbf{M}</math> 最多有 <math>p</math> 个不同的奇异值。
−
2. 我们总能在 <math>K^m</math> 中找到一个[[酉基 unitary basis]] <math>\mathbf{U}</math>,其中部分基向量张成 <math>\mathbf{M}</math> 每个奇异值的左奇异向量。
+
2. 我们总能在 <math>K^m</math> 中找到一个酉基(unitary basis) <math>\mathbf{U}</math>,其中部分基向量张成 <math>\mathbf{M}</math> 每个奇异值的左奇异向量。
 
3. 同样,我们也能在 <math>K^n</math> 中找到一个酉基 <math>\mathbf{V}</math>,其中部分基向量张成 <math>\mathbf{M}</math> 每个奇异值的右奇异向量。
 
3. 同样,我们也能在 <math>K^n</math> 中找到一个酉基 <math>\mathbf{V}</math>,其中部分基向量张成 <math>\mathbf{M}</math> 每个奇异值的右奇异向量。
    
当我们能找到两个线性独立的左(或右)奇异向量时,我们称该奇异值为简并的。如果 <math>\mathbf{u}_1</math> 和 <math>\mathbf{u}_2</math> 是对应奇异值 <math>\sigma</math> 的两个左奇异向量,那么这两个向量的任何归一化线性组合也是对应奇异值 <math>\sigma</math> 的左奇异向量。右奇异向量也有类似性质。独立的左奇异向量和右奇异向量数量相同,它们出现在 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 的相同列中,对应 <math>\mathbf{\Sigma}</math> 中具有相同值 <math>\sigma</math> 的对角元素。
 
当我们能找到两个线性独立的左(或右)奇异向量时,我们称该奇异值为简并的。如果 <math>\mathbf{u}_1</math> 和 <math>\mathbf{u}_2</math> 是对应奇异值 <math>\sigma</math> 的两个左奇异向量,那么这两个向量的任何归一化线性组合也是对应奇异值 <math>\sigma</math> 的左奇异向量。右奇异向量也有类似性质。独立的左奇异向量和右奇异向量数量相同,它们出现在 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 的相同列中,对应 <math>\mathbf{\Sigma}</math> 中具有相同值 <math>\sigma</math> 的对角元素。
   −
特别地,奇异值为0的左奇异向量和右奇异向量分别包括 <math>\mathbf{M}</math> 的[[余核 cokernel]]和[[核 kernel]]中的所有单位向量。根据[[秩-零化度定理 rank–nullity theorem]],如果 <math>m \neq n</math>,它们的维数不可能相同。即使所有奇异值都非零,当 <math>m > n</math> 时,余核是非平凡的,此时 <math>\mathbf{U}</math> 用余核中的 <math>m-n</math> 个正交向量填充。相反,当 <math>m < n</math> 时,<math>\mathbf{V}</math> 由核中的 <math>n-m</math> 个正交向量填充。然而,如果存在0的奇异值,<math>\mathbf{U}</math> 或 <math>\mathbf{V}</math> 的额外列已经作为左奇异向量或右奇异向量出现。
+
特别地,奇异值为0的左奇异向量和右奇异向量分别包括 <math>\mathbf{M}</math> 的余核(cokernel)和核(kernel)中的所有单位向量。根据秩-零化度定理(rank–nullity theorem),如果 <math>m \neq n</math>,它们的维数不可能相同。即使所有奇异值都非零,当 <math>m > n</math> 时,余核是非平凡的,此时 <math>\mathbf{U}</math> 用余核中的 <math>m-n</math> 个正交向量填充。相反,当 <math>m < n</math> 时,<math>\mathbf{V}</math> 由核中的 <math>n-m</math> 个正交向量填充。然而,如果存在0的奇异值,<math>\mathbf{U}</math> 或 <math>\mathbf{V}</math> 的额外列已经作为左奇异向量或右奇异向量出现。
    
非简并奇异值总有唯一的左奇异向量和右奇异向量,只能乘以单位相位因子 <math>e^{i\varphi}</math>(实数情况下,只能乘以正负号)。因此,如果方阵 <math>\mathbf{M}</math> 的所有奇异值都是非简并且非零的,那么它的奇异值分解是唯一的,只能对 <math>\mathbf{U}</math> 的一列乘以单位相位因子,同时对 <math>\mathbf{V}</math> 的相应列乘以相同的单位相位因子。总的来说,SVD 在对 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 的列向量(这些列向量张成每个奇异值的子空间)统一应用任意酉变换,以及对 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 的向量(这些向量分别张成 <math>\mathbf{M}</math> 的核和余核)应用任意酉变换的情况下是唯一的。
 
非简并奇异值总有唯一的左奇异向量和右奇异向量,只能乘以单位相位因子 <math>e^{i\varphi}</math>(实数情况下,只能乘以正负号)。因此,如果方阵 <math>\mathbf{M}</math> 的所有奇异值都是非简并且非零的,那么它的奇异值分解是唯一的,只能对 <math>\mathbf{U}</math> 的一列乘以单位相位因子,同时对 <math>\mathbf{V}</math> 的相应列乘以相同的单位相位因子。总的来说,SVD 在对 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 的列向量(这些列向量张成每个奇异值的子空间)统一应用任意酉变换,以及对 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 的向量(这些向量分别张成 <math>\mathbf{M}</math> 的核和余核)应用任意酉变换的情况下是唯一的。
第193行: 第193行:  
===与特征值分解的关系===
 
===与特征值分解的关系===
   −
奇异值分解具有广泛适用性,可用于任何 <math>m \times n</math> 矩阵,而[[特征值分解 eigenvalue decomposition]]仅限于可对角化的方阵。尽管如此,这两种分解方法仍有密切联系。
+
奇异值分解具有广泛适用性,可用于任何 <math>m \times n</math> 矩阵,而[[特征值分解]](eigenvalue decomposition)仅限于可对角化的方阵。尽管如此,这两种分解方法仍有密切联系。
    
设 <math>\mathbf{M}</math> 的SVD为 <math>\mathbf{M} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^*</math>,则以下两个等式成立:
 
设 <math>\mathbf{M}</math> 的SVD为 <math>\mathbf{M} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^*</math>,则以下两个等式成立:
第211行: 第211行:  
等式右侧描述了左侧的特征值分解。由此可得:
 
等式右侧描述了左侧的特征值分解。由此可得:
   −
1. <math>\mathbf{V}</math> 的列(即右奇异向量)是 <math>\mathbf{M}^*\mathbf{M}</math> 的[[特征向量 eigenvectors]]。
+
1. <math>\mathbf{V}</math> 的列(即右奇异向量)是 <math>\mathbf{M}^*\mathbf{M}</math> 的特征向量(eigenvectors)。
 
2. <math>\mathbf{U}</math> 的列(即左奇异向量)是 <math>\mathbf{M}\mathbf{M}^*</math> 的特征向量。
 
2. <math>\mathbf{U}</math> 的列(即左奇异向量)是 <math>\mathbf{M}\mathbf{M}^*</math> 的特征向量。
 
3. <math>\mathbf{\Sigma}</math> 的非零元素(即非零奇异值)是 <math>\mathbf{M}^*\mathbf{M}</math> 或 <math>\mathbf{M}\mathbf{M}^*</math> 非零特征值的平方根。
 
3. <math>\mathbf{\Sigma}</math> 的非零元素(即非零奇异值)是 <math>\mathbf{M}^*\mathbf{M}</math> 或 <math>\mathbf{M}\mathbf{M}^*</math> 非零特征值的平方根。
   −
当 <math>\mathbf{M}</math> 为正规矩阵(normal matrix)时,根据[[谱定理 spectral theorem]],我们可以用特征向量的基对其进行酉对角化,得到分解 <math>\mathbf{M} = \mathbf{U}\mathbf{D}\mathbf{U}^*</math>。其中 <math>\mathbf{U}</math> 是酉矩阵,<math>\mathbf{D}</math> 是对角线上有复数元素 <math>\sigma_i</math> 的对角矩阵。若 <math>\mathbf{M}</math> 为[[半正定 positive semi-definite]]矩阵,则 <math>\sigma_i</math> 为非负实数,此时分解 <math>\mathbf{M} = \mathbf{U}\mathbf{D}\mathbf{U}^*</math> 也是一个奇异值分解。否则,我们可以将每个 <math>\sigma_i</math> 的相位 <math>e^{i\varphi}</math> 移到相应的 <math>\mathbf{V}_i</math> 或 <math>\mathbf{U}_i</math> 中,从而重新表示为SVD形式。SVD与非正规矩阵的联系主要体现在极分解定理:<math>\mathbf{M} = \mathbf{S}\mathbf{R}</math>,其中 <math>\mathbf{S} = \mathbf{U}\mathbf{\Sigma}\mathbf{U}^*</math> 是半正定且正规的,<math>\mathbf{R} = \mathbf{U}\mathbf{V}^*</math> 是酉的。
+
当 <math>\mathbf{M}</math> 为正规矩阵(normal matrix)时,根据谱定理(spectral theorem),我们可以用特征向量的基对其进行酉对角化,得到分解 <math>\mathbf{M} = \mathbf{U}\mathbf{D}\mathbf{U}^*</math>。其中 <math>\mathbf{U}</math> 是酉矩阵,<math>\mathbf{D}</math> 是对角线上有复数元素 <math>\sigma_i</math> 的对角矩阵。若 <math>\mathbf{M}</math> 为半正定(positive semi-definite)矩阵,则 <math>\sigma_i</math> 为非负实数,此时分解 <math>\mathbf{M} = \mathbf{U}\mathbf{D}\mathbf{U}^*</math> 也是一个奇异值分解。否则,我们可以将每个 <math>\sigma_i</math> 的相位 <math>e^{i\varphi}</math> 移到相应的 <math>\mathbf{V}_i</math> 或 <math>\mathbf{U}_i</math> 中,从而重新表示为SVD形式。SVD与非正规矩阵的联系主要体现在极分解定理:<math>\mathbf{M} = \mathbf{S}\mathbf{R}</math>,其中 <math>\mathbf{S} = \mathbf{U}\mathbf{\Sigma}\mathbf{U}^*</math> 是半正定且正规的,<math>\mathbf{R} = \mathbf{U}\mathbf{V}^*</math> 是酉的。
    
因此,除半正定矩阵外,<math>\mathbf{M}</math> 的特征值分解和SVD虽有关联,但并不相同:特征值分解形如 <math>\mathbf{M} = \mathbf{U}\mathbf{D}\mathbf{U}^{-1}</math>,其中 <math>\mathbf{U}</math> 不一定是酉的,<math>\mathbf{D}</math> 不一定是半正定的;而SVD形如 <math>\mathbf{M} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^*</math>,其中 <math>\mathbf{\Sigma}</math> 是对角的且半正定的,<math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 是酉矩阵,它们除了通过矩阵 <math>\mathbf{M}</math> 外不一定有关联。值得注意的是,只有非亏损(non-defective)方阵才有特征值分解,而任何 <math>m \times n</math> 矩阵都存在SVD。
 
因此,除半正定矩阵外,<math>\mathbf{M}</math> 的特征值分解和SVD虽有关联,但并不相同:特征值分解形如 <math>\mathbf{M} = \mathbf{U}\mathbf{D}\mathbf{U}^{-1}</math>,其中 <math>\mathbf{U}</math> 不一定是酉的,<math>\mathbf{D}</math> 不一定是半正定的;而SVD形如 <math>\mathbf{M} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^*</math>,其中 <math>\mathbf{\Sigma}</math> 是对角的且半正定的,<math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 是酉矩阵,它们除了通过矩阵 <math>\mathbf{M}</math> 外不一定有关联。值得注意的是,只有非亏损(non-defective)方阵才有特征值分解,而任何 <math>m \times n</math> 矩阵都存在SVD。
5,443

个编辑

导航菜单