线性代数笔记3：向量投影

$Ax=b$有解时

当计算线性方程组$Ax=b$ 有解时， $b$就在$C(A)$的子空间中，则$Ax= b$在$C(A^T)$中有唯一解。我们考虑$x$的投影。
设$\alpha \in \mathbb {R}^n$是$Ax= b$的解，则$\alpha = \alpha_r + \alpha_n，\alpha_r \in C(A^T)，\alpha_n \in N(A)$。则：

$$\alpha _r 是\alpha 在C(A^T)的投影。$$

$$\alpha _n 是\alpha 在N(A)的投影。$$

$Ax=b$无解时

当计算线性方程组 $Ax=b$ 时， 它可能是无解的，此时我们可以考虑求 $\hat{x} \in \mathbb{R}^{n}$，使得|| $A \hat{x} - b$ || 最小或极小？这就意味着当 $b \notin C(A)$ 时，我们需要求解 $C(A)$ 上距离 $b$ 最近的点 $A \hat{x}$ ， 它就是$b$ 在 $C(A)$ 上的投影点。这对于我们理解最小二乘法很有帮助，具体请参考下一章。

以三维空间为例，目标投影空间可能是线，也可能是面。投影的实质就是找一个函数，从而使得 $P(B) = b$ ，也就找到了 $B$ 在某一维度的映射。类似的，在线性代数中，我们需要找到投影矩阵 $P$ ，使得 $Pb \in C(A)$ 。

投影矩阵 $P$

投影矩阵 $P$ ，顾名思义，就是利用矩阵 $P$ ，将向量 $b$ 投影到所需的”空间“中，设投影点为 $p$，则误差向量 $e = b - p$。

在直线上的投影

求 $b$ 在直线 $a$ 上的投影向量 $p$.

已知 $p + e = b, e \perp a , p = ta (t \in \mathbb{R})$
$\therefore e \perp a \rightarrow a^T(b - ta) = 0 \rightarrow t = \frac{a^Tb}{a^ta} (a \ne 0)$
即 $b$ 在直线 $a$ 上的投影向量为 $(\frac{a^Tb}{a^ta} ) a = p$. (a，b表示相应列向量)

投影向量$p = (\frac{a^Tb}{a^ta} ) a = \frac{a^Ta}{a^ta} ) b$

我们称 $\frac{a^Ta}{a^ta}$为投影矩阵 $P$.

在平面上的投影

给定 $v \in \mathbb{R}^3$ ，求 $v$ 在平面 $\pi= C(A)$ 上的投影 $p$ .

令 $\alpha_1, \alpha_2$ 是平面 $\pi$ 上两无关向量，即 $\pi = C(A)$ 的一组基。
令$p = A\hat{x}$，则 $e = v - A\hat{x}$ 垂直于平面 $\pi$ ，即其属于$A$ 的左零空间。
$\therefore A^T(A\hat{X} - v) = 0$， 即 $\hat{x}$ 是 $A^TAx = A^Tv$ 的解。
$\because A$ 的列向量线性无关，即 $A^TA$ 是可逆矩阵
$\therefore \hat{x} = (A^TA)^{-1}A^Tv \rightarrow p = A(A^TA)^{-1}A^Tv$.

我们称 $A(A^TA)^{-1}A^T$ 为投影矩阵 $P$.

一般情形

$A$ 为 $m \times n$ 矩阵，设 $b \in \mathbb{R}^m$，求 $b$ 在 $C(A)$ 上的投影 $p$ ?

$p \in C(A) \Longleftrightarrow \exists \hat{x} \in \mathbb{R}^n, A \hat{x} = p$。
$\because e = b - p \perp C(A) \leftrightarrow e \in N(A^T)$
$\therefore A^T e= \Rightarrow A^T(b - A \hat{x}) = 0. \Longrightarrow p = A\hat{x} = A(A^TA)^{-1}A^Tb$
这里需要注意一点：$A^TAx = A^Tb$ 总有解（无论 $A$ 是否列满秩）
这是因为$C(A^T) = C(A^TA), A^Tb \in C(A^T) = C(A^TA)$，所以总能找到这样的 $\hat{x}$ 使得 $\hat{x} = A(A^TA)^{-1}A^T$。

投影矩阵 $P$的性质

• 若$A$ 的列向量线性无关（列满秩），则矩阵 $A^TA$ 可逆，投影矩阵 $P = A(A^TA)^{-1}A^T$ 满足
  
  P2=P,PT=P P 2 = P , P T = P

  $$P^2=P, P^T = P$$
  

从直观上，向量 $b$ 经过一次投影到平面$A$ 上后再经过相同的一次投影仍然在平面$A$ 上，因此投影矩阵 $P^2$ 和 $P$ 的效果是一样的，因此$P^2=P$ 。
数学推理：

P2=(A(ATA)−1AT)(A(ATA)−1AT))=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=P P 2 = ( A ( A T A ) − 1 A T ) ( A ( A T A ) − 1 A T ) ) = A ( A T A ) − 1 ( A T A ) ( A T A ) − 1 A T = A ( A T A ) − 1 A T = P

$$P^2 = (A(A^TA)^{-1}A^T)(A(A^TA)^{-1}A^T)) = A(A^TA)^{-1}(A^TA)(A^TA)^{-1}A^T = A(A^TA)^{-1}A^T = P$$

• $C(P) = N(I-P), N(P) = C(I-P)$
  
  ∵P2=P ∵ P 2 = P

  $$\because P^2 = P$$
  

  ∴P(I−P)=0⟹C(I−P)⊂N(P) ∴ P ( I − P ) = 0 ⟹ C ( I − P ) ⊂ N ( P )

  $$\therefore P(I-P)=0 \Longrightarrow C(I-P) \subset N(P)$$
  

  设α∈N(P)，则Pα=0⟹α=(I−P)α 设 α ∈ N ( P ) ， 则 P α = 0 ⟹ α = ( I − P ) α

  $$设 \alpha \in N(P)，则 P\alpha = 0 \Longrightarrow \alpha = (I-P) \alpha$$
  

  ∴α∈C(I−P)⟹N(P)⊂C(I−P) ∴ α ∈ C ( I − P ) ⟹ N ( P ) ⊂ C ( I − P )

  $$\therefore \alpha \in C(I-P) \Longrightarrow N(P) \subset C(I-P)$$
  综上：$N(P) = C(I-P)$
  同理$C(P) = N(I-P)$
  
  
  
  
  
  

欢迎关注我的个人博客。