2,464
个编辑
更改
无编辑摘要
在线性代数中，奇异值分解 Singular value decomposition是一种通过旋转、缩放和再次旋转来因式分解[[实矩阵]]（real matrix）或[[复矩阵 complex matrix ]]的方法。它把具有[[正交特征基 orthonormal eigenbasis ]]的方阵[[特征分解 eigendecomposition ]]推广到了任意 <math>m \times n</math> 矩阵，并与[[极分解 polar decomposition ]]密切相关。
在线性代数中，奇异值分解 Singular value decomposition是一种通过旋转、缩放和再次旋转来因式分解实矩阵（real matrix）或复矩阵（complex matrix）的方法。它把具有正交特征基（orthonormal eigenbasis）的方阵[[特征分解]]（eigendecomposition）推广到了任意 <math>m \times n</math> 矩阵，并与[[极分解]]（polar decomposition）密切相关。
[[文件:Singular-Value-Decomposition.svg.png|无框|居左|奇异值分解]]
[[文件:Singular-Value-Decomposition.svg.png|无框|居左|奇异值分解]]
具体而言，我们可以将一个 <math>m \times n</math> 复矩阵 <math>\mathbf{M}</math> 分解为 <math>\mathbf{M} = \mathbf{U\Sigma V^*}</math>。在这里，<math>\mathbf{U}</math> 是 <math>m \times m</math> [[复酉矩阵 complex unitary matrix ]]，<math>\mathbf{\Sigma}</math> 是 <math>m \times n</math> [[矩形对角矩阵 rectangular diagonal matrix ]]，其对角线元素为非负实数，<math>\mathbf{V}</math> 是 <math>n \times n</math> 复酉矩阵，而 <math>\mathbf{V}^*</math> 是 <math>\mathbf{V}</math> 的[[共轭转置 conjugate transpose ]]。这种分解适用于任何复矩阵。若 <math>\mathbf{M}</math> 为实矩阵，则 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 必为实[[正交矩阵 real orthogonal matrices ]]；此时，我们通常将SVD表示为 <math>\mathbf{M} = \mathbf{U\Sigma V}^{\mathrm{T}}</math>。
具体而言，我们可以将一个 <math>m \times n</math> 复矩阵 <math>\mathbf{M}</math> 分解为 <math>\mathbf{M} = \mathbf{U\Sigma V^*}</math>。在这里，<math>\mathbf{U}</math> 是 <math>m \times m</math> 复酉矩阵（complex unitary matrix），<math>\mathbf{\Sigma}</math> 是 <math>m \times n</math> 矩形对角矩阵（rectangular diagonal matrix），其对角线元素为非负实数，<math>\mathbf{V}</math> 是 <math>n \times n</math> 复酉矩阵，而 <math>\mathbf{V}^*</math> 是 <math>\mathbf{V}</math> 的共轭转置（conjugate transpose）。这种分解适用于任何复矩阵。若 <math>\mathbf{M}</math> 为实矩阵，则 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math> 必为实正交矩阵（real orthogonal matrices）；此时，我们通常将SVD表示为 <math>\mathbf{M} = \mathbf{U\Sigma V}^{\mathrm{T}}</math>。
<math>\mathbf{\Sigma}</math> 的对角元素 <math>\sigma_i = \Sigma_{ii}</math> 由 <math>\mathbf{M}</math> 唯一确定，称为 <math>\mathbf{M}</math> 的奇异值。非零奇异值的数量等于 <math>\mathbf{M}</math> 的[[秩 rank ]]。我们把 <math>\mathbf{U}</math> 的列和 <math>\mathbf{V}</math> 的列分别叫做 <math>\mathbf{M}</math> 的左奇异向量和右奇异向量。它们分别构成两组[[正交基 orthonormal bases ]] <math>\mathbf{u}_1, \ldots, \mathbf{u}_m</math> 和 <math>\mathbf{v}_1, \ldots, \mathbf{v}_n</math>。如果我们将值为零的奇异值 <math>\sigma_i</math> 排在最后，奇异值分解就可以写成：
<math>\mathbf{\Sigma}</math> 的对角元素 <math>\sigma_i = \Sigma_{ii}</math> 由 <math>\mathbf{M}</math> 唯一确定，称为 <math>\mathbf{M}</math> 的奇异值。非零奇异值的数量等于 <math>\mathbf{M}</math> 的秩（rank）。我们把 <math>\mathbf{U}</math> 的列和 <math>\mathbf{V}</math> 的列分别叫做 <math>\mathbf{M}</math> 的左奇异向量和右奇异向量。它们分别构成两组正交基（orthonormal bases） <math>\mathbf{u}_1, \ldots, \mathbf{u}_m</math> 和 <math>\mathbf{v}_1, \ldots, \mathbf{v}_n</math>。如果我们将值为零的奇异值 <math>\sigma_i</math> 排在最后，奇异值分解就可以写成：
<math>
<math>
虽然SVD不是唯一的，但我们总是可以选择让奇异值 <math>\Sigma_{ii}</math> 按降序排列。这样一来，<math>\mathbf{\Sigma}</math>（而非 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math>）就由 <math>\mathbf{M}</math> 唯一确定了。
虽然SVD不是唯一的，但我们总是可以选择让奇异值 <math>\Sigma_{ii}</math> 按降序排列。这样一来，<math>\mathbf{\Sigma}</math>（而非 <math>\mathbf{U}</math> 和 <math>\mathbf{V}</math>）就由 <math>\mathbf{M}</math> 唯一确定了。
有时，我们也把SVD称为[[紧凑型SVD compact SVD ]]。紧凑型SVD是一种类似的分解： <math>\mathbf{M} = \mathbf{U\Sigma V}^*</math>，其中 <math>\mathbf{\Sigma}</math> 是 <math>r \times r</math> 的方形对角矩阵，<math>r \leq \min{m,n}</math>是 <math>\mathbf{M}</math> 的秩，只包含非零奇异值。在这种变体中，<math>\mathbf{U}</math> 是 <math>m \times r</math> [[半酉矩阵 semi-unitary matrix ]]，<math>\mathbf{V}</math> 是 <math>n \times r</math> 半酉矩阵，满足 <math>\mathbf{U}^ \mathbf{U} = \mathbf{V}^ \mathbf{V} = \mathbf{I}_r</math>。
有时，我们也把SVD称为[[紧凑型SVD]]（compact SVD）。紧凑型SVD是一种类似的分解： <math>\mathbf{M} = \mathbf{U\Sigma V}^*</math>，其中 <math>\mathbf{\Sigma}</math> 是 <math>r \times r</math> 的方形对角矩阵，<math>r \leq \min{m,n}</math>是 <math>\mathbf{M}</math> 的秩，只包含非零奇异值。在这种变体中，<math>\mathbf{U}</math> 是 <math>m \times r</math> 半酉矩阵（semi-unitary matrix），<math>\mathbf{V}</math> 是 <math>n \times r</math> 半酉矩阵，满足 <math>\mathbf{U}^ \mathbf{U} = \mathbf{V}^ \mathbf{V} = \mathbf{I}_r</math>。
SVD在数学上有多种应用，包括计算[[伪逆 pseudoinverse ]]、[[矩阵近似 matrix approximation ]]以及确定矩阵的[[秩 rank ]]、[[值域 range ]]和[[零空间 null space ]]。此外，SVD在科学、工程和统计学的各个领域都很有用，比如信号处理、[[数据最小二乘拟合 least squares fitting of data ]]和过程控制等。
SVD在数学上有多种应用，包括计算[[伪逆]]（pseudoinverse）、[[矩阵近似]]（matrix approximation）以及确定矩阵的秩（rank）、值域（range）和零空间（null space）。此外，SVD在科学、工程和统计学的各个领域都很有用，比如[[信号处理]]（signal processing）、[[数据最小二乘拟合]]（least squares fitting of data）和过程控制等。