跳至正文

MIT 18.06SC · UNIT II · SESSION 16

投影矩阵与最小二乘法

Projection Matrices and Least Squares

如果有三个实验点,却只有两个未知参数,通常没有一条直线能恰好穿过全部点。数学并不因此失败:我们寻找整体误差平方和最小的那条线。它不只是一种统计技巧,更是向子空间作正交投影。

先修:第15讲正交投影与正规方程;第14讲 AᵀA 可逆条件4 个教学章节4 道随堂题 · 6 道解析题

01 / DATA / LEAST SQUARES

三组数据,两项参数:
为什么不能总是精确解?

给出三次测量 (t,b)=(0,1),(1,2),(2,k)。我们想用直线 b≈a+ct 解释它们,其中 a 是截距,c 是斜率。三次测量对应三条方程:a=1、a+c=2、a+2c=k。

当前两条方程同时成立时 a=1、c=1,第三条要求 k=3。只有 k=3 时能精确穿过全部三点;其他 k 的数据存在不一致,我们需要在全部三次测量之间折中,而不是随意舍弃一项。

A=[ [1,0], [1,1], [1,2] ]x=(a,c)ᵀ,b=(1,2,k)ᵀ最小化 SSE=||Ax−b||²

残差 r=Ax−b 表示每次预测与观测的差,SSE 为这些残差的平方之和:a、a+c−2、a+2c−k 分别平方后相加。平方避免正负抵消,也使一个较大的误差付出更大代价。

这不是要求任何一个测量点的误差一定最小,而是要求三个平方误差的总和最小。下一步用投影几何确定最优参数。

随堂检查 01 · 何时能精确拟合

数据为(0,1),(1,2),(2,k),何时存在精确通过三点的直线 y=a+ct?
查看完整解析与错因

第一点给a=1,第二点给c=1,第三点要求a+2c=3,所以当且仅当k=3精确可解。

02 / NORMAL EQUATIONS

最优点的残差,
为什么必定与两列都垂直?

所有可能的预测 Ax 都位于 A 的两列所张成的二维子空间 C(A) 中。最优预测 p=Ax̂ 是 b 在该空间上的正交投影,所以 e=b−p 与第一列 (1,1,1)ᵀ、第二列 (0,1,2)ᵀ 都正交。

Aᵀ(b−Ax̂)=0AᵀA=[ [3,3], [3,5] ]Aᵀb=(3+k,2+2k)ᵀ

展开正规方程变成 3a+3c=3+k,以及3a+5c=2+2k。将第二式减第一式,得到2c=k−1,所以 c=(k−1)/2。代入第一式得到 a=(9−k)/6。

当 k=3 时,c=1、a=1,所有残差都为0;当 k=2 时,c=1/2、a=7/6,预测值依次为 7/6、5/3、13/6,测量分别为1、2、2,残差不为0,但平方误差和最小。

为什么系数解唯一?

A 的两列不成倍数,rank(A)=2。因此 AᵀA 可逆,正规方程有唯一解。若设计矩阵的列相关,正规方程可能有无限多个系数解,此时要改用独立基或更一般的数值方法。

随堂检查 02 · 正规方程

拟合矩阵 A=[[1,0],[1,1],[1,2]],AᵀA 应是什么?
查看完整解析与错因

A两列a₁=(1,1,1)、a₂=(0,1,2),点积a₁ᵀa₁=3,a₁ᵀa₂=3,a₂ᵀa₂=5。

03 / LIVE REGRESSION

改变第三个点,
整条最佳拟合直线都会响应。

使用上节推导的闭式解,我们可以让第三次测量 k 在 0 到 6 之间变化,然后实时重新解正规方程。每次都必须核验残差与 A 的两列正交,而不是只把斜率做线性动画。

LIVE MODEL / BEST FIT LINE固定前两点 (0,1)、(1,2),改变第三点 (2,k)
最佳直线 b≈a+ct

b≈1+1t

三点预测 p=Ax̂

(1,2,3)ᵀ

误差向量 e=b−p=(0,0,0)ᵀ;SSE=0。

k=3:三点共线,残差为0。任何其他 k 则显示最小但非零的误差平方和。

模型依次由正规方程计算 a、c、预测 p、残差 e、SSE,并检查 Σeᵢ 与 Σtᵢeᵢ 都为0;不会把曲线直接穿过每一点。

为什么选择 t=0、1、2 方便?因为三行设计矩阵的第二列含真实时间坐标,Aᵀe=0 具体展开为Σeᵢ=0 与 Σtᵢeᵢ=0。这两个平衡条件可以直接用算术核对。

随堂检查 03 · 残差在哪个空间

最小二乘解 x̂ 对应误差 e=b−Ax̂,下列哪句一定正确?
查看完整解析与错因

最小二乘投影残差与A的所有列向量正交,所以Aᵀe=0,位于A的左零空间。

04 / COLUMN SPACE / LEFT NULL

最小二乘恰好把观测拆成
两块互相垂直的分量。

把三维观测向量 b 写成 b=p+e,其中 p=Ax̂∈C(A),而 e=b−Ax̂∈N(Aᵀ)。两部分正交,平方长度满足 ||b||²=||p||²+||e||²。

P=A(AᵀA)⁻¹Aᵀ;p=Pbe=(I−P)b;Pe=0P²=P,Pᵀ=P

对于所有可能的 b,P 将观测投影到“直线模型能表达的所有三维预测”构成的二维子空间;I−P 则提取模型解释不了的部分。这里拟合的直线位于数据(t,b)平面,但投影发生在三维观测值空间,这是最容易混淆的两个几何图像。

如果一组测量本来恰好满足 b=Ax₀,残差就为0;如果 b 完全位于 N(Aᵀ),那最佳投影是0。二者解释了完全拟合和完全无法用模型解释的极端情形。

最后从代数证明 AᵀA 的可逆性:AᵀAx=0 时,xᵀAᵀAx=||Ax||²=0,故 Ax=0。因为 A 两列无关,x=0,正规方程唯一可解。这个证明不需要把 A 强行变成方阵。

随堂检查 04 · 系数唯一条件

为什么 A 的列独立时,正规方程的最优系数 x̂ 唯一?
查看完整解析与错因

由||Ax||²=xᵀAᵀAx证明N(AᵀA)=N(A)。满列秩使零空间为{0},因此AᵀA可逆,正规方程唯一解。

PRACTICE / EXPLAIN EVERY STEP

独立写出过程,
再展开答案。

先检查运算,再解释为什么这样做。以下题目为本站重新设计,难度参照本讲实际授课内容和可获得的配套练习。

01 / 正规方程数值推导

对数据(0,1),(1,2),(2,2),写出 AᵀA、Aᵀb,解出最佳截距 a 与斜率 c。

展开完整解析

AᵀA=[[3,3],[3,5]],Aᵀb=(1+2+2,0×1+1×2+2×2)=(5,6)。方程3a+3c=5、3a+5c=6,减得2c=1,c=1/2,a=5/3−1/2=7/6。

02 / 计算预测和残差

继续上题,计算预测值 p、残差 e=b−p 以及 SSE,检验 Aᵀe=0。

展开完整解析

p=(7/6,7/6+1/2,7/6+1)=(7/6,10/6,13/6);e=(1−7/6,2−10/6,2−13/6)=(−1/6,2/6,−1/6)。Σe=0,Σtᵢeᵢ=0×(−1/6)+1×(2/6)+2×(−1/6)=0;SSE=(1+4+1)/36=1/6。

03 / 完全可达数据

给三点(0,2),(1,4),(2,6)做 y=a+ct 最小二乘,求 a、c 与 SSE。

展开完整解析

三个点在y=2+2t上,所以a=2、c=2,三个残差均为0,SSE=0。正规方程的列独立保证这组系数唯一。

04 / 不能直接逆一个长方矩阵

A 为 4×2 且两列独立,说明为什么不能写 x=A⁻¹b,但可以写 x̂=(AᵀA)⁻¹Aᵀb。

展开完整解析

A是4×2非方阵,无普通二侧逆A⁻¹。AᵀA为2×2,对列独立的A可逆,所以正规方程AᵀA x̂=Aᵀb可左乘其逆。该x̂最小化||Ax−b||²,不要求Ax̂=b。

05 / 证明确实是最小值

已知 p=A x̂ 且 e=b−p 与 C(A) 正交。对任意系数 x 证明||b−Ax||²≥||b−p||²。

展开完整解析

b−Ax=e+(p−Ax),其中e∈C(A)⊥、p−Ax∈C(A),两者点积0。勾股得||b−Ax||²=||e||²+||p−Ax||²≥||e||²=||b−p||²;若A列独立,等号要求x=x̂。

06 / 变化测量的闭式解

对(0,1),(1,2),(2,k),证明最佳拟合斜率 c=(k−1)/2、截距 a=(9−k)/6,并求 k=5 时的预测向量。

展开完整解析

正规方程3a+3c=3+k、3a+5c=2+2k,两式相减得2c=k−1;再得a=1+k/3−c=(9−k)/6。k=5时a=4/6=2/3、c=2,所以预测p=(2/3,8/3,14/3)。目标(1,2,5),残差为(1/3,−2/3,1/3),满足正交性。

THE IDEA TO KEEP

最小二乘不要求 Ax=b 精确可解,而要让残差与 C(A) 正交。满列秩时正规方程给出唯一的最佳系数,残差位于 N(Aᵀ),投影位于 C(A)。

本讲 4 道随堂题,可逐项答题并查看反馈。

这里讨论误差平方和最小的无权线性拟合。稳健回归、加权最小二乘、正则化和大规模数值稳定算法不在本讲范围;系数唯一性要求 A 满列秩。

返回线性代数目录 ↗
本讲参考的大学材料

MIT 18.06SC · Projection Matrices and Least Squares。可复核资料:official session ↗official summary ↗official problems ↗official solutions ↗。

核对 MIT 官方 Session 2.3 三页讲义与页面图像、习题16.1–16.6及其解答;原讲义有三点回归演算。本站改用新的 t=0,1,2 和独立数值模型,未直接复制原题。 本站不是 MIT 官方中文译课;文字、数值案例、模型和题目独立设计。