线性代数拾遗

矩阵的各种分解

QR分解

可逆矩阵的QR分解：若矩阵 $A$ 可逆，则其QR分解存在唯一。$Q$ 是正交矩阵，$R$ 是对角元全正的上三角矩阵。

由 Gram-Schmidt 正交化可得存在性，唯一性易证。

QR分解：

对 $m \times n$ 矩阵 $A$，其中 $m \geq n$，则

1. 存在 $m \times n$ 列正交矩阵 $Q_1$ 和具有非负对角元的 $n$ 阶上三角矩阵 $R_1$，使得

$$A = Q_1 R_1$$

2. 进一步地，存在 $m$ 阶正交矩阵 $Q$ 和 $m \times n$ 矩阵 $R$，使得 $A = QR$
   其中

$$R = \begin{bmatrix} R_1 \\ 0 \end{bmatrix}, \quad Q = \begin{bmatrix} Q_1 & Q_2 \end{bmatrix}$$

即 $Q$ 的列向量组由 $Q_1$ 的列向量组扩充而成。

谱分解

对方阵 $A$， 若存在可逆矩阵 $X$ 使得 $X^{-1}AX=\Lambda$ 是对角矩阵，则称 $A=X\Lambda X^{-1}$ 是 $A$ 的谱分解。

实对称矩阵的谱分解

实对称矩阵 $A$ 可以分解为 $A=Q\Lambda Q^T$，其中 $Q$ 是正交矩阵。

这就是在说，实对称矩阵分属不同特征值的特征向量是相互正交的。

奇异值分解

给定 $m\times n$ 矩阵 $A$ ，存在 $m$ 阶正交矩阵 $U$ 和 $n$ 阶正交矩阵 $V$ ,使得

$$A = U\Sigma V^T$$

其中 $\Sigma$ 是对角矩阵，对角元均不小于 $0$， 从大到小排列。

先取实对称矩阵 $A^TA$ 的谱分解 $A^TA=V\Lambda V^T$ ，其中 $\Lambda = \begin{bmatrix} \Sigma_r&\\ & O \end{bmatrix}$，$\Sigma_r$ 是对角元全是正数的对角矩阵。把 $V$ 对应划分一下得到 $V=[V_1\quad V_2]$，代入计算可得 $A^TA=V_1\Sigma_r V_1^T$ .

好，现在我们观察一下奥，两边同时右乘 $V_1$ ,得 $A^TAV_1 = V_1 \Sigma _r$，再同时右乘 $A$ ，得 $AA^TAV_1 = AV_1 \Sigma _r$，我去，这不就是在说 $AV_1$ 的列是 $AA^T$ 的特征向量，对应的特征值是 $\Sigma _r$ 的对角元。

跟 $A^TA$ 类似， $AA^T = U\Lambda U^T = U_1\Sigma_r U_1^T$，那么是不是说 $U_1 = AV_1$ ？注意 $U_1$ 列正交，我们验证一下 $AV_1:$

$$V_1^TA^TAV_1 = \Sigma _r$$

差一点。我们凑一下，可以验证 $AV_1\Sigma_r^{-1/2}$ 是列正交的，所以 $U_1 = AV_1\Sigma_r^{-1/2}$，这样我们得到 $AV_1 = U_1\Sigma_r^{1/2}$ ，我们把 $V_1,U_1, \Sigma_r^{1/2}$ 都补齐，得到

$$A[V_1\quad V_2] = [U_1\quad U_2]\begin{bmatrix} \Sigma_r^{1/2}&\\ & O \end{bmatrix}$$

也就是

$$AV = U\begin{bmatrix} \Sigma_r^{1/2}&\\ & O \end{bmatrix}$$

进一步可以写为

$$A = U\begin{bmatrix} \Sigma_r^{1/2}&\\ & O \end{bmatrix} V^T$$

可以看到，一些关键的步骤就是观察，然后凑出想要的形式。我一直在想，数学的基本功是什么，从这里我想说，能感知式子变形的方向，并且能做出这样的变形，显然是很重要的一点。

---

我们应该质疑一下：

1. 为什么 $AA^T$ 与 $AA^T$ 的谱分解中，对角矩阵相同
2. 为什么 $AV_2=O$

▶

因为

1. $\det X^T = \det X$ 所以 $AA^T$ 和 $A^TA$ 的特征多项式相同，进而特征值也相同
2. 由 $A^TA$ 的谱分解可知 $V_2$ 是特征值 $0$ 对应的特征向量组成的，因此 $A^TAV_2=O$ ，故 $V_2^TA^TAV_2=O$ ，进而 $AV_2=O$

---

奇异值分解可以揭露矩阵的很多信息：

• $\Sigma$ 正对角元的个数揭露矩阵的秩
• 广义逆
• 左右奇异向量
• 截断 SVD 是很好的低秩逼近

低秩逼近

高维空间中散布一堆点 $\bm a_1,...,\bm a_n$ ，将它们排成矩阵 $A = [\bm a_1\quad...\quad \bm a_n]$. 若这些点聚集在一个低维子空间 $\mathcal{M}$ 附近（比如三维空间中的点聚集在某一个平面附近），那我们可以把它们投影到 $\mathcal{M}$ 上，然后在这个低维子空间上研究它们。那问题来了，怎么找到 $\mathcal{M}$ 呢？我们先简单刻画一下它的性质：

这些点到 $\mathcal{M}$ 的距离的平方和应该不大于到其他子空间距离的平方和，也就是

$$\sum_{i=1}^{n}\left\|\bm a_i - P_{\mathcal{M}}\bm a_i \right\|$$

应该尽可能小。

设 $P_{\mathcal{M}}=QQ^T$，$Q$ 是 $\mathcal{M}$ 的一组标准正交基排成的正交矩阵。那么上面的平方和经过一些变形，就等于

$$tr(AA^T)-tr(Q^TAA^TQ)$$

所以我们只需要找使得 $tr(Q^TAA^TQ)$ 尽可能大的子空间，设 $\mathcal{M}$ 的维数是 $k$，有个定理就说了，$A$ 的奇异值分解 $U\Sigma V^T$ 中 $U$ 的前 $k$ 个向量组成的标准正交基形成的子空间能使 $tr(Q^TAA^TQ)$ 达到最大值。