跳至正文

MIT 18.06SC · UNIT II · SESSION 17

正交矩阵与格拉姆—施密特正交化

Orthogonal Matrices and Gram-Schmidt

如果我们已经有一组线性无关向量,为什么不把它变成一组互相垂直、长度都为1的方向?新方向张成的空间不变,却能让投影、求系数和矩阵计算简单得多。格拉姆—施密特算法正是这样做的。

先修:第15讲向直线投影、第16讲最小二乘、列空间与基4 个教学章节4 道随堂题 · 6 道解析题

01 / ORTHONORMAL COLUMNS

垂直还不够,
让每个方向长度都变为1。

如果一组向量 q₁,…,qᵣ 满足 qᵢᵀqⱼ=0(i≠j)以及 qᵢᵀqᵢ=1,就称为标准正交向量组。把它们作为 Q 的列,所有点积排成的矩阵就是 QᵀQ=I。

QᵀQ=I(列标准正交)Q 为方阵时:Q⁻¹=QᵀQ 为长方形时:QᵀQ=I,但通常 QQᵀ≠I

标准正交列自动线性无关:若 Qx=0,左乘 Qᵀ 得 QᵀQx=Ix=x=0。注意这里不必要求 Q 可逆,因而对 m×r、m≥r 的长方矩阵也适用。

例如 q₁=(3/5,4/5)ᵀ、q₂=(−4/5,3/5)ᵀ:两个长度都为1,点积(−12+12)/25=0,组成 Q 后 QᵀQ=I。任意正交方阵 Q 还保长度:||Qx||²=xᵀQᵀQx=||x||²。

随堂检查 01 · 标准正交列性质

Q 是 4×2 实矩阵,列标准正交。哪一个等式一定成立?
查看完整解析与错因

QᵀQ是2×2格拉姆矩阵,对角线1、非对角0,故等于I₂;QQᵀ则为R⁴中的二维投影矩阵。

02 / SIMPLIFY PROJECTION

原来每个系数,
就是一个点积。

如果 Q 的列是目标子空间的一组标准正交基,那么 b 投影到列空间的系数不用解一个复杂的系统:因为 QᵀQ=I,正规方程直接变成 x̂=Qᵀb。因此

系数 x̂=Qᵀb投影 p=QQᵀb投影矩阵 P=QQᵀ

比如 q₁=(1,0,0)ᵀ、q₂=(0,1/√2,1/√2)ᵀ 对应 R³ 中一个二维子空间,b=(2,3,1)ᵀ 的两个投影系数为2与4/√2=2√2。投影 p=(2,2,2)ᵀ,残差 e=(0,1,−1)ᵀ,与两个 q 都垂直。

这解释了标准正交基的价值:一般基求坐标需要解线性方程组;标准正交基只需分别和每个方向做点积。计算也更容易发现舍入误差和检验结果。

随堂检查 02 · 标准正交投影

若 Q 的列标准正交,则向 C(Q) 的投影矩阵 P 是哪一个?
查看完整解析与错因

一般P=Q(QᵀQ)⁻¹Qᵀ;标准正交使QᵀQ=I,所以P=QQᵀ。

03 / GRAM–SCHMIDT

从第一支箭头开始,
依次减掉已经占据的方向。

给定两支线性无关向量 a、b。先保留第一支方向 A₁=a,将第二支向量沿 a 的投影剔除,得到 A₂=b−(aᵀb)/(aᵀa)·a。由于 aᵀA₂=aᵀb−(aᵀb)=0,两支新向量正交,且 span{a,b}=span{A₁,A₂}。

接着归一化:q₁=A₁/||A₁||,q₂=A₂/||A₂||。若 A₂=0,则原来的两向量相关;不应对零向量除以0。

A₁=aA₂=b−(aᵀb)/(aᵀa)·aq₁=A₁/||A₁||,q₂=A₂/||A₂||

取本站例子 a=(2,1)ᵀ、b=(1,3)ᵀ,aᵀb=5、aᵀa=5,故 A₂=(1,3)−(2,1)=(−1,2)。因此 q₁=(2,1)/√5、q₂=(−1,2)/√5。这两列正交、长度均1,组成一个2×2正交方阵。

LIVE MODEL / ORTHOGONALIZE固定 a=(2,1),改变 b=(k,3),观察剔除已有方向后的向量
第二支正交向量 A₂

(−1,2)ᵀ

单位化 q₂ 或退化提醒

(−0.45,0.89)ᵀ

aᵀA₂=0;||A₂||²=5。

k=1:A₂≠0,得到两支标准正交基。k=6 时 b=3a,A₂=0,第二次归一化不允许。

精确计算 k=6 的相关向量为 b=(6,3)=3(2,1);零残差时清楚显示“无法归一化”,绝不输出 NaN。

随堂检查 03 · 格拉姆施密特残差

a=(2,1)、b=(1,3),减去 b 沿 a 的投影后得到的向量是什么?
查看完整解析与错因

aᵀb=5、aᵀa=5,故新向量b−1·a=(1,3)−(2,1)=(−1,2),与a点积−2+2=0。

04 / QR DECOMPOSITION

把整个正交化过程,
记成一次 A=QR。

若 A 的列原为 a₁、a₂,格拉姆—施密特产生标准正交列 q₁、q₂。第一列 a₁=r₁₁q₁,第二列 a₂=r₁₂q₁+r₂₂q₂,其中 r₁₂=q₁ᵀa₂,r₂₂ 是第二个残差长度。因此

A=QRQᵀQ=IR 为上三角,且 R=QᵀA(满列秩薄 QR)

对 a=(2,1)、b=(1,3),Q=(1/√5)[[2,−1],[1,2]],R=[[√5,√5],[0,√5]]。直接相乘 QR 的第一列是(2,1),第二列是(1,3),确实恢复 A。

为什么 R 的左下角必为0?因为 q₂ 与 a₁ 正交,所以 q₂ᵀa₁=0。这解释了“上三角”来自逐列处理的顺序。

推广到三列时,第三支向量需要同时减去沿前两支正交方向的投影:c′=c−(q₁ᵀc)q₁−(q₂ᵀc)q₂,再归一化,依此继续。每一步都保留已张成的子空间,但让新增方向正交于过去的所有方向。

与 LU 分解相比,QR 让 Q 的列相互垂直,在数据拟合、数值线性代数和信号处理中尤其有用。实际浮点实现往往优先改进格拉姆—施密特或 Householder 变换,以避免方向几乎重合时的数值不稳定。

随堂检查 04 · 依赖导致归一化失败

在模型 a=(2,1)、b=(k,3) 中,哪一个 k 会使第二支正交化向量恰好为0?
查看完整解析与错因

要b=ta,第二分量给3=t,第一分量k=2t=6。此时第二步残差为0,不能归一化。

PRACTICE / EXPLAIN EVERY STEP

独立写出过程,
再展开答案。

先检查运算,再解释为什么这样做。以下题目为本站重新设计,难度参照本讲实际授课内容和可获得的配套练习。

01 / 两支正交单位向量

证明 q₁=(3/5,4/5)、q₂=(−4/5,3/5) 构成 R² 标准正交基。

展开完整解析

||q₁||²=(9+16)/25=1,||q₂||²=(16+9)/25=1,点积(3×−4+4×3)/25=0;两支非零正交向量在R²中独立,构成一组基。

02 / 长方形Q的投影

令 Q 的两列为 q₁=(1,0,0)ᵀ 和 q₂=(0,1/√2,1/√2)ᵀ。对 b=(2,3,1)ᵀ,计算 p=QQᵀb、残差 e,并验证 Qᵀe=0。

展开完整解析

Qᵀb=(2,(3+1)/√2)=(2,2√2);p=2q₁+2√2 q₂=(2,2,2),e=(0,1,−1)。第一列点积0,第二列点积(1−1)/√2=0,故Qᵀe=0。

03 / Gram Schmidt 完整计算

取 a=(2,1)、b=(1,3),用格拉姆—施密特求 A₂、q₁、q₂,并验算 q₁ᵀq₂=0。

展开完整解析

aᵀb=5、aᵀa=5,A₂=b−a=(−1,2);||a||=√5、||A₂||=√5,故q₁=(2,1)/√5、q₂=(−1,2)/√5。点积(−2+2)/5=0,各长度为1。

04 / 从QR恢复原矩阵

对 A=[[2,1],[1,3]],写出本讲所得 Q、R,并通过矩阵乘法验证A=QR。

展开完整解析

Q=(1/√5)[[2,−1],[1,2]],R=[[√5,√5],[0,√5]]。相乘第一列为(2,1),第二列=√5(q₁+q₂)=(2,1)+(−1,2)=(1,3),所以QR=A。

05 / 标准正交列自动无关

Q 是 m×n、QᵀQ=Iₙ。证明 Q 的列线性无关,并说明为什么不必要求 Q 是方阵。

展开完整解析

若Qx=0,左乘Qᵀ得QᵀQx=0,所以Iₙx=x=0。齐次解只有零,Q的n列线性无关。整个证明只使用QᵀQ=Iₙ,不要求Q本身有普通逆。

06 / 为什么 k=6 会失败

a=(2,1)、b=(6,3),按Gram–Schmidt求 b−projₐb,解释QR中第二个正对角项为何为0。

展开完整解析

aᵀb=2×6+1×3=15,aᵀa=5,投影系数=3,故b−3a=(6,3)−(6,3)=0。第二残差范数r₂₂=0,原两列相关,不能产生第二个单位方向,也没有满列秩的标准薄QR。

THE IDEA TO KEEP

格拉姆—施密特逐个减去前面方向的投影,再归一化,得到标准正交列 Q;原始 A=QR,其中 QᵀQ=I,R 为上三角。

本讲 4 道随堂题,可逐项答题并查看反馈。

本讲使用实数、精确代数的经典格拉姆—施密特;浮点计算中常用改进格拉姆—施密特或 Householder QR 以提高稳定性。列相关时某一步出现零向量,不能再做归一化。

返回线性代数目录 ↗
本讲参考的大学材料

MIT 18.06SC · Orthogonal Matrices and Gram-Schmidt。可复核资料:official session ↗official summary ↗official problems ↗official solutions ↗。

已核对 MIT Session2.4 官方三页讲义与全部页面图像、习题17.1–17.2及第一份完整官方解析;未完整观看视频或通读教材。 本站不是 MIT 官方中文译课;文字、数值案例、模型和题目独立设计。