跳至正文

MIT 18.06SC · UNIT II · SESSION 15

子空间上的投影

Projections onto Subspaces

测量数据往往并不恰好落在我们假设的模型里。我们不再追问 Ax=b 有没有精确解,而是追问:在所有能到达的 Ax 中,哪一个距离 b 最近?答案是一种几何动作——正交投影。

先修:第14讲正交补和点积;第10讲基与维数4 个教学章节4 道随堂题 · 6 道解析题

01 / PROJECTION ONTO A LINE

在一条无穷长的直线上,
哪个点距离 b 最近?

设非零向量 a 张成一条过原点直线。任何候选点都写为 p=ta。我们要让距离 ||b−ta|| 最小。最近点的关键性质是误差 e=b−p 必须垂直 a,否则沿直线挪动一点点就还能更近。

用 aᵀe=0 写成代数式:aᵀ(b−ta)=0,所以 t(aᵀa)=aᵀb,因 a≠0,所以 aᵀa>0,可除得

t=(aᵀb)/(aᵀa)p=a(aᵀb)/(aᵀa)e=b−p,且 aᵀe=0

例如 a=(2,1)ᵀ、b=(1,3)ᵀ,点积 aᵀb=5,aᵀa=5,故 t=1、p=(2,1)ᵀ、e=(−1,2)ᵀ。检查 (2,1)·(−1,2)=−2+2=0,投影正确。

还有一个更直接的“最近”证明:任取直线上的另一点 qa,写 b−qa=e+(t−q)a。两项正交,故 ||b−qa||²=||e||²+(t−q)²||a||²,至少为 ||e||²,且当 q=t 取等号。所以 p 是唯一最近点。

LIVE MODEL / CLOSEST POINT ON A LINE固定投影方向 a=(2,1),调整 b=(k,3) 的横坐标
最近点 p

(2,1)ᵀ

误差 e=b−p

(−1,2)ᵀ

验证 aᵀe=0;投影系数 t=1。

在直线 span{(2,1)} 中,p 是离 b=(1,3) 最近的点。改变 k 后仍满足 e⊥a。

计算保持未取整的分数直到最后输出;显示值保留两位小数,点积数值按原始计算确认为零。

随堂检查 01 · 一维投影系数

a=(2,1)、b=(1,3),b 在 span{a} 上的投影系数 t 是多少?
查看完整解析与错因

t=(aᵀb)/(aᵀa)=(2×1+1×3)/(4+1)=5/5=1。

02 / PROJECTION MATRIX

投影不只是一道几何题,
它还是一次线性变换。

p=a(aᵀb)/(aᵀa) 中,a 与分母对当前直线是固定的,而 b 可以变。把 b 放到右侧,得到 p=Pb,投影矩阵 P=aaᵀ/(aᵀa)。

对于 a=(2,1)ᵀ,这个矩阵是 P=(1/5)[[4,2],[2,1]],因为 aaᵀ=[[4,2],[2,1]]。它把所有平面向量“压”到 a 张成的直线上。

P=aaᵀ/(aᵀa)(a≠0)Pᵀ=P(对称)P²=P(投影两次等于一次)

为什么 P²=P?计算 P²=aaᵀaaᵀ/(aᵀa)²=a(aᵀa)aᵀ/(aᵀa)²=P。几何意义是:第一次投影后已经落在目标直线上,再投影不会改变。

与此互补,I−P 把 b 投影到直线的垂直方向,结果为 e=b−p。因 (I−P)²=I−2P+P²=I−P,它也是一个投影矩阵,目标空间正是直线的正交补。

随堂检查 02 · 投影矩阵条件

对实向量空间中的正交投影矩阵 P,下面哪两式成立?
查看完整解析与错因

对一维P=aaᵀ/(aᵀa),转置后不变;平方时中间aᵀa约去一次,得到P²=P。

03 / PROJECTION ONTO A PLANE

从一条直线变成一个平面,
思路几乎不变。

设 A 是 m×n 矩阵,列空间 C(A) 是我们允许的目标空间。想在其中找到最靠近 b 的 p,就必须写 p=A x̂(某个系数向量 x̂),并要求误差 e=b−p 与 C(A) 中每一列都垂直。

把全部列的正交条件同时写下来,就是 Aᵀ(b−Ax̂)=0,展开得

AᵀA x̂=Aᵀb(正规方程)x̂=(AᵀA)⁻¹Aᵀb(列独立时)P=A(AᵀA)⁻¹Aᵀ

当 A 的列线性无关时,AᵀA 可逆;p=Px 的写法要留意变量:我们真正投影的是目标 b,故 p=Pb,不是把未知 x̂ 本身当作目标向量。

例如 A 的两列为 (1,0,0)ᵀ 和 (0,1,0)ᵀ,C(A) 就是 xy 平面。对 b=(2,−1,4)ᵀ,最靠近的点是 p=(2,−1,0)ᵀ,误差 e=(0,0,4)ᵀ,确实与两个列方向正交。在这个例子里 P=diag(1,1,0)。

随堂检查 03 · 平面的投影

把 b=(2,−1,4) 投影到 R³ 的 xy 平面,最近点 p 是什么?
查看完整解析与错因

p=(2,−1,0),残差b−p=(0,0,4),与平面中所有(z=0)向量都正交。

04 / WHY PROJECTIONS WORK

投影后的误差为什么不可再缩小?
怎样避免把方阵逆用错?

现在 p=Ax̂ 是最近点,e=b−p∈N(Aᵀ)。任意其他候选 Ax 与 p 之差属于 C(A),因此 e 和 p−Ax 垂直。勾股定理给出

||b−Ax||² = ||e||² + ||p−Ax||² ≥ ||e||²

这条式子也说明:即使 A 的列相关、系数 x̂ 不是唯一的,投影向量 p 仍然唯一。因为相同子空间中的最近点只能有一个。

矩阵 P=A(AᵀA)⁻¹Aᵀ 的外部大小为 m×m,作用于 Rᵐ 的 b;如果 A 的形状不是方阵,就不能写 A⁻¹,更不能随便套“乘积的逆”等式。只有 AᵀA 真正可逆时才可以使用这条显式公式。

MIT 练习还强调了一个常用检验:P²=P 的投影,互补矩阵 I−P 也满足 (I−P)²=I−P,分别提取可解释部分和残差部分。在数据拟合中,先分离这两部分,才能从“方程不可解”转向“最优近似”。

下节将用三组测量点拟合一条直线,亲自解正规方程,并检查每个残差都满足整体的正交条件。

随堂检查 04 · 列相关的情况

A 的两列相关且不为零,是否仍存在将 b 正交投影到 C(A) 的唯一点 p?
查看完整解析与错因

C(A) 是有限维子空间,对每个b存在唯一最近点p;若A列相关,可用独立基来求P,或用伪逆,系数解则可能不唯一。

PRACTICE / EXPLAIN EVERY STEP

独立写出过程,
再展开答案。

先检查运算,再解释为什么这样做。以下题目为本站重新设计,难度参照本讲实际授课内容和可获得的配套练习。

01 / 直线的投影和残差

对 a=(3,1)ᵀ、b=(2,4)ᵀ,计算 b 在 span{a} 上的投影 p 及残差 e,验证 aᵀe=0。

展开完整解析

aᵀb=3×2+1×4=10,aᵀa=3²+1²=10,所以t=1,p=(3,1)。e=b−p=(−1,3),aᵀe=3×(−1)+1×3=0。

02 / 投影矩阵平方

令 a=(1,2)ᵀ,写出 P=aaᵀ/(aᵀa),直接相乘验证 P²=P。

展开完整解析

aᵀa=5,P=(1/5)[[1,2],[2,4]]。未经缩放的矩阵平方=[[5,10],[10,20]]=5[[1,2],[2,4]],所以P²=(1/25)×5[[1,2],[2,4]]=P。

03 / 互补投影

对 P=diag(1,1,0)(三维平面投影),求 I−P 和 b=(3,2,−5) 的两部分,并验证正交。

展开完整解析

I−P=diag(0,0,1)。p=Pb=(3,2,0),e=(I−P)b=(0,0,−5),pᵀe=0,且b=p+e;互补矩阵平方等于自身。

04 / 投影矩阵的大小

A 为 5×2 且两列独立,说明 P=A(AᵀA)⁻¹Aᵀ 的大小、秩以及作用空间。

展开完整解析

AᵀA 是2×2可逆方阵,乘积形状(5×2)(2×2)(2×5)=5×5。P作用于R⁵并投影到二维列空间C(A),所以其秩为2;不是2×2矩阵。

05 / 最近点的严格性

证明 p 是 b 到直线 span{a} 的最短点,只用 e=b−p⊥a 和勾股定理,不求导。

展开完整解析

任意候选q a∈span{a},b−qa=(b−ta)+(t−q)a=e+(t−q)a,两项点积为0,所以||b−qa||²=||e||²+(t−q)²||a||²≥||e||²。a≠0时等号当且仅当q=t。

06 / 高维平面直接投影

A=[[1,0],[0,1],[0,0]],b=(−2,5,4)ᵀ。求正规方程的 x̂、投影 p、误差 e,并检查 Aᵀe=0。

展开完整解析

AᵀA=I₂,Aᵀb=(−2,5),所以x̂=(−2,5)。p=Ax̂=(−2,5,0),e=b−p=(0,0,4)。Aᵀe=(0,0),证实误差正交于两列,也说明p是最近点。

THE IDEA TO KEEP

正交投影 p 是子空间中距离 b 最近的点;残差 e=b−p 与整个子空间垂直。投影矩阵满足 Pᵀ=P、P²=P,满列秩时 P=A(AᵀA)⁻¹Aᵀ。

本讲 4 道随堂题,可逐项答题并查看反馈。

投影矩阵公式 P=A(AᵀA)⁻¹Aᵀ 仅在 A 的列独立时可直接使用;列相关时仍存在正交投影,但需用空间的一组独立基或伪逆。最小二乘数值示例将在第16讲全面展开。

返回线性代数目录 ↗
本讲参考的大学材料

MIT 18.06SC · Projections onto Subspaces。可复核资料:official session ↗official summary ↗official problems ↗official solutions ↗。

已核对 MIT Session 2.2 官方4页讲义中的3页正文与图像、练习15.1–15.2及其解答;未完整观看视频或通读教材。 本站不是 MIT 官方中文译课;文字、数值案例、模型和题目独立设计。