奇异值分解（SVD）”

在线性代数中，奇异值分解（SVD）是将实矩阵或复矩阵分解为旋转、缩放和再次旋转的一种因子分解方法。它将具有正交特征基的方阵特征分解推广到任意 [math]\displaystyle{ m \times n }[/math] 矩阵。它与极分解有关。

具体来说，一个 [math]\displaystyle{ m \times n }[/math] 复矩阵 [math]\displaystyle{ \mathbf{M} }[/math] 的奇异值分解是一种形如 [math]\displaystyle{ \mathbf{M} = \mathbf{U\Sigma V^*} }[/math] 的分解，其中 [math]\displaystyle{ \mathbf{U} }[/math] 是 [math]\displaystyle{ m \times m }[/math] 复酉矩阵，[math]\displaystyle{ \mathbf{\Sigma} }[/math] 是 [math]\displaystyle{ m \times n }[/math] 矩形对角矩阵，对角线上的元素是非负实数，[math]\displaystyle{ \mathbf{V} }[/math] 是 [math]\displaystyle{ n \times n }[/math] 复酉矩阵，[math]\displaystyle{ \mathbf{V}^* }[/math] 是 [math]\displaystyle{ \mathbf{V} }[/math] 的共轭转置。这种分解对任何复矩阵都存在。如果 [math]\displaystyle{ \mathbf{M} }[/math] 是实矩阵，那么 [math]\displaystyle{ \mathbf{U} }[/math] 和 [math]\displaystyle{ \mathbf{V} }[/math] 可以保证是实正交矩阵；在这种情况下，SVD 通常表示为 [math]\displaystyle{ \mathbf{M} = \mathbf{U\Sigma V}^{\mathrm{T}} }[/math]。

[math]\displaystyle{ \mathbf{\Sigma} }[/math] 的对角元素 [math]\displaystyle{ \sigma_i = \Sigma_{ii} }[/math] 由 [math]\displaystyle{ \mathbf{M} }[/math] 唯一确定，被称为 [math]\displaystyle{ \mathbf{M} }[/math] 的奇异值。非零奇异值的数量等于 [math]\displaystyle{ \mathbf{M} }[/math] 的秩。[math]\displaystyle{ \mathbf{U} }[/math] 的列和 [math]\displaystyle{ \mathbf{V} }[/math] 的列分别被称为 [math]\displaystyle{ \mathbf{M} }[/math] 的左奇异向量和右奇异向量。它们形成两组正交基 [math]\displaystyle{ \mathbf{u}_1, \ldots, \mathbf{u}_m }[/math] 和 [math]\displaystyle{ \mathbf{v}_1, \ldots, \mathbf{v}_n }[/math]，如果将它们排序使得值为零的奇异值 [math]\displaystyle{ \sigma_i }[/math] 都在最高编号的列（或行）中，那么奇异值分解可以写成：

[math]\displaystyle{ \mathbf{M} = \mathbf{U\Sigma V^*} = \sum_{i=1}^r \sigma_i \mathbf{u}_i \mathbf{v}_i^* }[/math]

其中 [math]\displaystyle{ r \leq \min{m,n} }[/math] 是 [math]\displaystyle{ \mathbf{M} }[/math] 的秩。

SVD 不是唯一的，但总是可以选择使奇异值 [math]\displaystyle{ \Sigma_{ii} }[/math] 按降序排列的分解。在这种情况下，[math]\displaystyle{ \mathbf{\Sigma} }[/math]（但不是 [math]\displaystyle{ \mathbf{U} }[/math] 和 [math]\displaystyle{ \mathbf{V} }[/math]）由 [math]\displaystyle{ \mathbf{M} }[/math] 唯一确定。

有时，SVD 也指紧凑型 SVD，这是一种类似的分解 [math]\displaystyle{ \mathbf{M} = \mathbf{U\Sigma V}^* }[/math]，其中 [math]\displaystyle{ \mathbf{\Sigma} }[/math] 是 [math]\displaystyle{ r \times r }[/math] 的方形对角矩阵，[math]\displaystyle{ r \leq \min{m,n} }[/math] 是 [math]\displaystyle{ \mathbf{M} }[/math] 的秩，且只包含非零奇异值。在这种变体中，[math]\displaystyle{ \mathbf{U} }[/math] 是 [math]\displaystyle{ m \times r }[/math] 半酉矩阵，[math]\displaystyle{ \mathbf{V} }[/math] 是 [math]\displaystyle{ n \times r }[/math] 半酉矩阵，满足 [math]\displaystyle{ \mathbf{U}^ \mathbf{U} = \mathbf{V}^* \mathbf{V} = \mathbf{I}_r }[/math]。

SVD 的数学应用包括计算伪逆、矩阵近似以及确定矩阵的秩、值域和零空间。SVD 在科学、工程和统计学的各个领域都非常有用，如信号处理、数据最小二乘拟合和过程控制。