01 / PROJECTION ONTO A LINE
在一条无穷长的直线上,
哪个点距离 b 最近?
设非零向量 a 张成一条过原点直线。任何候选点都写为 p=ta。我们要让距离 ||b−ta|| 最小。最近点的关键性质是误差 e=b−p 必须垂直 a,否则沿直线挪动一点点就还能更近。
用 aᵀe=0 写成代数式:aᵀ(b−ta)=0,所以 t(aᵀa)=aᵀb,因 a≠0,所以 aᵀa>0,可除得
例如 a=(2,1)ᵀ、b=(1,3)ᵀ,点积 aᵀb=5,aᵀa=5,故 t=1、p=(2,1)ᵀ、e=(−1,2)ᵀ。检查 (2,1)·(−1,2)=−2+2=0,投影正确。
还有一个更直接的“最近”证明:任取直线上的另一点 qa,写 b−qa=e+(t−q)a。两项正交,故 ||b−qa||²=||e||²+(t−q)²||a||²,至少为 ||e||²,且当 q=t 取等号。所以 p 是唯一最近点。
(2,1)ᵀ
(−1,2)ᵀ
验证 aᵀe=0;投影系数 t=1。
在直线 span{(2,1)} 中,p 是离 b=(1,3) 最近的点。改变 k 后仍满足 e⊥a。
计算保持未取整的分数直到最后输出;显示值保留两位小数,点积数值按原始计算确认为零。随堂检查 01 · 一维投影系数
先自己推算,再检查。
查看完整解析与错因
t=(aᵀb)/(aᵀa)=(2×1+1×3)/(4+1)=5/5=1。
02 / PROJECTION MATRIX
投影不只是一道几何题,
它还是一次线性变换。
p=a(aᵀb)/(aᵀa) 中,a 与分母对当前直线是固定的,而 b 可以变。把 b 放到右侧,得到 p=Pb,投影矩阵 P=aaᵀ/(aᵀa)。
对于 a=(2,1)ᵀ,这个矩阵是 P=(1/5)[[4,2],[2,1]],因为 aaᵀ=[[4,2],[2,1]]。它把所有平面向量“压”到 a 张成的直线上。
为什么 P²=P?计算 P²=aaᵀaaᵀ/(aᵀa)²=a(aᵀa)aᵀ/(aᵀa)²=P。几何意义是:第一次投影后已经落在目标直线上,再投影不会改变。
与此互补,I−P 把 b 投影到直线的垂直方向,结果为 e=b−p。因 (I−P)²=I−2P+P²=I−P,它也是一个投影矩阵,目标空间正是直线的正交补。
随堂检查 02 · 投影矩阵条件
先自己推算,再检查。
查看完整解析与错因
对一维P=aaᵀ/(aᵀa),转置后不变;平方时中间aᵀa约去一次,得到P²=P。
03 / PROJECTION ONTO A PLANE
从一条直线变成一个平面,
思路几乎不变。
设 A 是 m×n 矩阵,列空间 C(A) 是我们允许的目标空间。想在其中找到最靠近 b 的 p,就必须写 p=A x̂(某个系数向量 x̂),并要求误差 e=b−p 与 C(A) 中每一列都垂直。
把全部列的正交条件同时写下来,就是 Aᵀ(b−Ax̂)=0,展开得
当 A 的列线性无关时,AᵀA 可逆;p=Px 的写法要留意变量:我们真正投影的是目标 b,故 p=Pb,不是把未知 x̂ 本身当作目标向量。
例如 A 的两列为 (1,0,0)ᵀ 和 (0,1,0)ᵀ,C(A) 就是 xy 平面。对 b=(2,−1,4)ᵀ,最靠近的点是 p=(2,−1,0)ᵀ,误差 e=(0,0,4)ᵀ,确实与两个列方向正交。在这个例子里 P=diag(1,1,0)。
随堂检查 03 · 平面的投影
先自己推算,再检查。
查看完整解析与错因
p=(2,−1,0),残差b−p=(0,0,4),与平面中所有(z=0)向量都正交。
04 / WHY PROJECTIONS WORK
投影后的误差为什么不可再缩小?
怎样避免把方阵逆用错?
现在 p=Ax̂ 是最近点,e=b−p∈N(Aᵀ)。任意其他候选 Ax 与 p 之差属于 C(A),因此 e 和 p−Ax 垂直。勾股定理给出
这条式子也说明:即使 A 的列相关、系数 x̂ 不是唯一的,投影向量 p 仍然唯一。因为相同子空间中的最近点只能有一个。
矩阵 P=A(AᵀA)⁻¹Aᵀ 的外部大小为 m×m,作用于 Rᵐ 的 b;如果 A 的形状不是方阵,就不能写 A⁻¹,更不能随便套“乘积的逆”等式。只有 AᵀA 真正可逆时才可以使用这条显式公式。
MIT 练习还强调了一个常用检验:P²=P 的投影,互补矩阵 I−P 也满足 (I−P)²=I−P,分别提取可解释部分和残差部分。在数据拟合中,先分离这两部分,才能从“方程不可解”转向“最优近似”。
下节将用三组测量点拟合一条直线,亲自解正规方程,并检查每个残差都满足整体的正交条件。
随堂检查 04 · 列相关的情况
先自己推算,再检查。
查看完整解析与错因
C(A) 是有限维子空间,对每个b存在唯一最近点p;若A列相关,可用独立基来求P,或用伪逆,系数解则可能不唯一。
PRACTICE / EXPLAIN EVERY STEP
独立写出过程,
再展开答案。
先检查运算,再解释为什么这样做。以下题目为本站重新设计,难度参照本讲实际授课内容和可获得的配套练习。
对 a=(3,1)ᵀ、b=(2,4)ᵀ,计算 b 在 span{a} 上的投影 p 及残差 e,验证 aᵀe=0。
展开完整解析
aᵀb=3×2+1×4=10,aᵀa=3²+1²=10,所以t=1,p=(3,1)。e=b−p=(−1,3),aᵀe=3×(−1)+1×3=0。
令 a=(1,2)ᵀ,写出 P=aaᵀ/(aᵀa),直接相乘验证 P²=P。
展开完整解析
aᵀa=5,P=(1/5)[[1,2],[2,4]]。未经缩放的矩阵平方=[[5,10],[10,20]]=5[[1,2],[2,4]],所以P²=(1/25)×5[[1,2],[2,4]]=P。
对 P=diag(1,1,0)(三维平面投影),求 I−P 和 b=(3,2,−5) 的两部分,并验证正交。
展开完整解析
I−P=diag(0,0,1)。p=Pb=(3,2,0),e=(I−P)b=(0,0,−5),pᵀe=0,且b=p+e;互补矩阵平方等于自身。
A 为 5×2 且两列独立,说明 P=A(AᵀA)⁻¹Aᵀ 的大小、秩以及作用空间。
展开完整解析
AᵀA 是2×2可逆方阵,乘积形状(5×2)(2×2)(2×5)=5×5。P作用于R⁵并投影到二维列空间C(A),所以其秩为2;不是2×2矩阵。
证明 p 是 b 到直线 span{a} 的最短点,只用 e=b−p⊥a 和勾股定理,不求导。
展开完整解析
任意候选q a∈span{a},b−qa=(b−ta)+(t−q)a=e+(t−q)a,两项点积为0,所以||b−qa||²=||e||²+(t−q)²||a||²≥||e||²。a≠0时等号当且仅当q=t。
A=[[1,0],[0,1],[0,0]],b=(−2,5,4)ᵀ。求正规方程的 x̂、投影 p、误差 e,并检查 Aᵀe=0。
展开完整解析
AᵀA=I₂,Aᵀb=(−2,5),所以x̂=(−2,5)。p=Ax̂=(−2,5,0),e=b−p=(0,0,4)。Aᵀe=(0,0),证实误差正交于两列,也说明p是最近点。
正交投影 p 是子空间中距离 b 最近的点;残差 e=b−p 与整个子空间垂直。投影矩阵满足 Pᵀ=P、P²=P,满列秩时 P=A(AᵀA)⁻¹Aᵀ。
本讲 4 道随堂题,可逐项答题并查看反馈。
投影矩阵公式 P=A(AᵀA)⁻¹Aᵀ 仅在 A 的列独立时可直接使用;列相关时仍存在正交投影,但需用空间的一组独立基或伪逆。最小二乘数值示例将在第16讲全面展开。
返回线性代数目录 ↗MIT 18.06SC · Projections onto Subspaces。可复核资料:official session ↗official summary ↗official problems ↗official solutions ↗。
已核对 MIT Session 2.2 官方4页讲义中的3页正文与图像、练习15.1–15.2及其解答;未完整观看视频或通读教材。 本站不是 MIT 官方中文译课;文字、数值案例、模型和题目独立设计。