01 / DATA / LEAST SQUARES
三组数据,两项参数:
为什么不能总是精确解?
给出三次测量 (t,b)=(0,1),(1,2),(2,k)。我们想用直线 b≈a+ct 解释它们,其中 a 是截距,c 是斜率。三次测量对应三条方程:a=1、a+c=2、a+2c=k。
当前两条方程同时成立时 a=1、c=1,第三条要求 k=3。只有 k=3 时能精确穿过全部三点;其他 k 的数据存在不一致,我们需要在全部三次测量之间折中,而不是随意舍弃一项。
残差 r=Ax−b 表示每次预测与观测的差,SSE 为这些残差的平方之和:a、a+c−2、a+2c−k 分别平方后相加。平方避免正负抵消,也使一个较大的误差付出更大代价。
这不是要求任何一个测量点的误差一定最小,而是要求三个平方误差的总和最小。下一步用投影几何确定最优参数。
随堂检查 01 · 何时能精确拟合
先自己推算,再检查。
查看完整解析与错因
第一点给a=1,第二点给c=1,第三点要求a+2c=3,所以当且仅当k=3精确可解。
02 / NORMAL EQUATIONS
最优点的残差,
为什么必定与两列都垂直?
所有可能的预测 Ax 都位于 A 的两列所张成的二维子空间 C(A) 中。最优预测 p=Ax̂ 是 b 在该空间上的正交投影,所以 e=b−p 与第一列 (1,1,1)ᵀ、第二列 (0,1,2)ᵀ 都正交。
展开正规方程变成 3a+3c=3+k,以及3a+5c=2+2k。将第二式减第一式,得到2c=k−1,所以 c=(k−1)/2。代入第一式得到 a=(9−k)/6。
当 k=3 时,c=1、a=1,所有残差都为0;当 k=2 时,c=1/2、a=7/6,预测值依次为 7/6、5/3、13/6,测量分别为1、2、2,残差不为0,但平方误差和最小。
A 的两列不成倍数,rank(A)=2。因此 AᵀA 可逆,正规方程有唯一解。若设计矩阵的列相关,正规方程可能有无限多个系数解,此时要改用独立基或更一般的数值方法。
随堂检查 02 · 正规方程
先自己推算,再检查。
查看完整解析与错因
A两列a₁=(1,1,1)、a₂=(0,1,2),点积a₁ᵀa₁=3,a₁ᵀa₂=3,a₂ᵀa₂=5。
03 / LIVE REGRESSION
改变第三个点,
整条最佳拟合直线都会响应。
使用上节推导的闭式解,我们可以让第三次测量 k 在 0 到 6 之间变化,然后实时重新解正规方程。每次都必须核验残差与 A 的两列正交,而不是只把斜率做线性动画。
b≈1+1t
(1,2,3)ᵀ
误差向量 e=b−p=(0,0,0)ᵀ;SSE=0。
k=3:三点共线,残差为0。任何其他 k 则显示最小但非零的误差平方和。
模型依次由正规方程计算 a、c、预测 p、残差 e、SSE,并检查 Σeᵢ 与 Σtᵢeᵢ 都为0;不会把曲线直接穿过每一点。为什么选择 t=0、1、2 方便?因为三行设计矩阵的第二列含真实时间坐标,Aᵀe=0 具体展开为Σeᵢ=0 与 Σtᵢeᵢ=0。这两个平衡条件可以直接用算术核对。
随堂检查 03 · 残差在哪个空间
先自己推算,再检查。
查看完整解析与错因
最小二乘投影残差与A的所有列向量正交,所以Aᵀe=0,位于A的左零空间。
04 / COLUMN SPACE / LEFT NULL
最小二乘恰好把观测拆成
两块互相垂直的分量。
把三维观测向量 b 写成 b=p+e,其中 p=Ax̂∈C(A),而 e=b−Ax̂∈N(Aᵀ)。两部分正交,平方长度满足 ||b||²=||p||²+||e||²。
对于所有可能的 b,P 将观测投影到“直线模型能表达的所有三维预测”构成的二维子空间;I−P 则提取模型解释不了的部分。这里拟合的直线位于数据(t,b)平面,但投影发生在三维观测值空间,这是最容易混淆的两个几何图像。
如果一组测量本来恰好满足 b=Ax₀,残差就为0;如果 b 完全位于 N(Aᵀ),那最佳投影是0。二者解释了完全拟合和完全无法用模型解释的极端情形。
最后从代数证明 AᵀA 的可逆性:AᵀAx=0 时,xᵀAᵀAx=||Ax||²=0,故 Ax=0。因为 A 两列无关,x=0,正规方程唯一可解。这个证明不需要把 A 强行变成方阵。
随堂检查 04 · 系数唯一条件
先自己推算,再检查。
查看完整解析与错因
由||Ax||²=xᵀAᵀAx证明N(AᵀA)=N(A)。满列秩使零空间为{0},因此AᵀA可逆,正规方程唯一解。
PRACTICE / EXPLAIN EVERY STEP
独立写出过程,
再展开答案。
先检查运算,再解释为什么这样做。以下题目为本站重新设计,难度参照本讲实际授课内容和可获得的配套练习。
对数据(0,1),(1,2),(2,2),写出 AᵀA、Aᵀb,解出最佳截距 a 与斜率 c。
展开完整解析
AᵀA=[[3,3],[3,5]],Aᵀb=(1+2+2,0×1+1×2+2×2)=(5,6)。方程3a+3c=5、3a+5c=6,减得2c=1,c=1/2,a=5/3−1/2=7/6。
继续上题,计算预测值 p、残差 e=b−p 以及 SSE,检验 Aᵀe=0。
展开完整解析
p=(7/6,7/6+1/2,7/6+1)=(7/6,10/6,13/6);e=(1−7/6,2−10/6,2−13/6)=(−1/6,2/6,−1/6)。Σe=0,Σtᵢeᵢ=0×(−1/6)+1×(2/6)+2×(−1/6)=0;SSE=(1+4+1)/36=1/6。
给三点(0,2),(1,4),(2,6)做 y=a+ct 最小二乘,求 a、c 与 SSE。
展开完整解析
三个点在y=2+2t上,所以a=2、c=2,三个残差均为0,SSE=0。正规方程的列独立保证这组系数唯一。
A 为 4×2 且两列独立,说明为什么不能写 x=A⁻¹b,但可以写 x̂=(AᵀA)⁻¹Aᵀb。
展开完整解析
A是4×2非方阵,无普通二侧逆A⁻¹。AᵀA为2×2,对列独立的A可逆,所以正规方程AᵀA x̂=Aᵀb可左乘其逆。该x̂最小化||Ax−b||²,不要求Ax̂=b。
已知 p=A x̂ 且 e=b−p 与 C(A) 正交。对任意系数 x 证明||b−Ax||²≥||b−p||²。
展开完整解析
b−Ax=e+(p−Ax),其中e∈C(A)⊥、p−Ax∈C(A),两者点积0。勾股得||b−Ax||²=||e||²+||p−Ax||²≥||e||²=||b−p||²;若A列独立,等号要求x=x̂。
对(0,1),(1,2),(2,k),证明最佳拟合斜率 c=(k−1)/2、截距 a=(9−k)/6,并求 k=5 时的预测向量。
展开完整解析
正规方程3a+3c=3+k、3a+5c=2+2k,两式相减得2c=k−1;再得a=1+k/3−c=(9−k)/6。k=5时a=4/6=2/3、c=2,所以预测p=(2/3,8/3,14/3)。目标(1,2,5),残差为(1/3,−2/3,1/3),满足正交性。
最小二乘不要求 Ax=b 精确可解,而要让残差与 C(A) 正交。满列秩时正规方程给出唯一的最佳系数,残差位于 N(Aᵀ),投影位于 C(A)。
本讲 4 道随堂题,可逐项答题并查看反馈。
这里讨论误差平方和最小的无权线性拟合。稳健回归、加权最小二乘、正则化和大规模数值稳定算法不在本讲范围;系数唯一性要求 A 满列秩。
返回线性代数目录 ↗MIT 18.06SC · Projection Matrices and Least Squares。可复核资料:official session ↗official summary ↗official problems ↗official solutions ↗。
核对 MIT 官方 Session 2.3 三页讲义与页面图像、习题16.1–16.6及其解答;原讲义有三点回归演算。本站改用新的 t=0,1,2 和独立数值模型,未直接复制原题。 本站不是 MIT 官方中文译课;文字、数值案例、模型和题目独立设计。