奇异值分解（SVD）”

在线性代数中，奇异值分解（SVD）是将实矩阵或复矩阵分解为旋转、缩放和再次旋转的一种因子分解方法。它将具有正交特征基的方阵特征分解推广到任意[math]\displaystyle{ m*n }[/math]矩阵。它与极分解有关。

具体来说，一个 [math]\displaystyle{ m * n }[/math] 复矩阵 [math]\displaystyle{ \mathbf{M} }[/math] 的奇异值分解是一种形如 [math]\displaystyle{ \mathbf{M} = \mathbf{U\Sigma V^*} }[/math] 的分解，其中 [math]\displaystyle{ \mathbf{U} }[/math] 是 [math]\displaystyle{ m \times m }[/math] 复酉矩阵，[math]\displaystyle{ \mathbf{\Sigma} }[/math] 是 [math]\displaystyle{ m \times n }[/math] 矩形对角矩阵，对角线上的元素是非负实数，[math]\displaystyle{ \mathbf{V} }[/math] 是 [math]\displaystyle{ n \times n }[/math] 复酉矩阵，[math]\displaystyle{ \mathbf{V}^* }[/math] 是 [math]\displaystyle{ \mathbf{V} }[/math] 的共轭转置。这种分解对任何复矩阵都存在。如果 [math]\displaystyle{ \mathbf{M} }[/math] 是实矩阵，那么 [math]\displaystyle{ \mathbf{U} }[/math] 和 [math]\displaystyle{ \mathbf{V} }[/math] 可以保证是实正交矩阵；在这种情况下，SVD 通常表示为 [math]\displaystyle{ \mathbf{U\Sigma V}^{\mathrm{T}} }[/math]。

[math]\displaystyle{ \mathbf{\Sigma} }[/math] 的对角元素 $\sigma_i = \Sigma_{ii}$ 由 $\mathbf{M}$ 唯一确定，被称为 $\mathbf{M}$ 的奇异值。非零奇异值的数量等于 $\mathbf{M}$ 的秩。$\mathbf{U}$ 的列和 $\mathbf{V}$ 的列分别被称为 $\mathbf{M}$ 的左奇异向量和右奇异向量。它们形成两组正交基 $\mathbf{u}_1, \ldots, \mathbf{u}_m$ 和 $\mathbf{v}_1, \ldots, \mathbf{v}_n$，如果将它们排序使得值为零的奇异值 $\sigma_i$ 都在最高编号的列（或行）中，那么奇异值分解可以写成：

[math]\displaystyle{ \mathbf{M} = \sum_{i=1}^r \sigma_i \mathbf{u}_i \mathbf{v}_i^*, }[/math]

其中 $r \leq \min{m,n}$ 是 $\mathbf{M}$ 的秩。

SVD 不是唯一的，但总是可以选择使奇异值 $\Sigma_{ii}$ 按降序排列的分解。在这种情况下，$\mathbf{\Sigma}$（但不是 $\mathbf{U}$ 和 $\mathbf{V}$）由 $\mathbf{M}$ 唯一确定。

有时，SVD 也指紧凑型 SVD，这是一种类似的分解 $\mathbf{M} = \mathbf{U\Sigma V}^$，其中 $\mathbf{\Sigma}$ 是 $r \times r$ 的方形对角矩阵，$r \leq \min{m,n}$ 是 $\mathbf{M}$ 的秩，且只包含非零奇异值。在这种变体中，$\mathbf{U}$ 是 $m \times r$ 半酉矩阵，$\mathbf{V}$ 是 $n \times r$ 半酉矩阵，满足 $\mathbf{U}^ \mathbf{U} = \mathbf{V}^* \mathbf{V} = \mathbf{I}_r$。

SVD 的数学应用包括计算伪逆、矩阵近似以及确定矩阵的秩、值域和零空间。SVD 在科学、工程和统计学的各个领域都非常有用，如信号处理、数据最小二乘拟合和过程控制。