跳至正文

MIT 18.06SC · UNIT II · SESSION 14

正交向量与正交子空间

Orthogonal Vectors and Subspaces

前十三讲告诉我们四个基本子空间各有多大,却没有讲清它们怎样相处。这一讲把最简单的几何事实——两支箭头垂直——扩展到全部行空间与零空间。它也为下节的投影与最小二乘打下基础。

先修:第11讲四个基本子空间、初等向量点积与矩阵转置4 个教学章节4 道随堂题 · 6 道解析题

01 / DOT PRODUCT / PYTHAGORAS

不用量角器,
怎样知道两支向量垂直?

实向量 u=(u₁,…,uₙ) 与 v=(v₁,…,vₙ) 的点积是 uᵀv=Σuᵢvᵢ。其长度平方是 ||u||²=uᵀu。对非零向量,夹角为90°当且仅当点积为0;零向量则按定义与任何向量正交,尽管无法给它指定一个普通几何夹角。

u⊥v ⇔ uᵀv=0||u+v||²=||u||²+2uᵀv+||v||²

第二式用 (u+v)ᵀ(u+v) 展开即可得到。若点积为0,正好还原勾股定理;反过来满足该平方和关系也说明点积为0。比如 u=(2,1)ᵀ、v=(1,−2)ᵀ,点积2−2=0;两者长度平方均为5,和向量(3,−1)的长度平方为10。

LIVE MODEL / TEST PERPENDICULARITY固定 u=(2,1),改变 v=(k,−2);观察点积与勾股差值
点积 uᵀv

0

勾股差值 ||u+v||²−||u||²−||v||²

0

k=1:点积为0,勾股差值也为0,两支非零向量垂直。

勾股差值总等于点积的2倍;不能把“差值接近0”误当作精确正交,模型使用整数以便逐项复算。

随堂检查 01 · 点积与垂直

u=(2,1)ᵀ,v=(k,−2)ᵀ,要让二者正交,k 必须为?
查看完整解析与错因

uᵀv=2k−2。正交等价于该值为0,解得k=1。

02 / ORTHOGONAL COMPLEMENTS

两块子空间正交,
要求其中每支向量都垂直。

子空间 S 和 T 正交的意思是:任取 s∈S、t∈T,都有 sᵀt=0,不是只找出一对互相垂直的向量。若 S 只含零向量,则它与每个子空间都正交。

给定空间 S,它在 Rⁿ 中的正交补记作 S⊥,定义为与 S 里所有向量都垂直的全部向量。例如在 R³ 中 S=span{(1,0,1)} 是一条线,那么 S⊥ 由 x+z=0 规定,是一个二维的过原点平面。

S⊥={x∈Rⁿ : sᵀx=0,对每个 s∈S}dim S+dim S⊥=n

正交补总是子空间。证明也很直接:若 x、y 都与每个 s 正交,则 sᵀ(αx+βy)=αsᵀx+βsᵀy=0,所以所有线性组合仍在正交补里。

关键是“互为正交补”比“相互正交”要求更强:还要求两个空间维数相加等于整个环境空间的维数。一个维数1的线与另一条垂直线在 R³ 中可以正交,但它们并非彼此的整个正交补,因为尚缺一个方向。

随堂检查 02 · 正交子空间定义

两个子空间 S、T 相互正交,正确的定义是什么?
查看完整解析与错因

正交要求所有交叉向量对点积为0;即便两空间有一对正交向量,也不代表它们整体正交。

03 / FOUR FUNDAMENTAL SPACES

Ax=0 就是一串点积等于0,
这解释了两对空间。

A 的各行分别为 r₁ᵀ,…,rₘᵀ。Ax=0 等价于 r₁ᵀx=···=rₘᵀx=0,因此每个零空间向量都与 A 的每条行向量正交;也与任何行组合正交。

C(Aᵀ)⊥N(A),都在 RⁿC(A)⊥N(Aᵀ),都在 Rᵐ

行空间维数为 r,零空间维数为 n−r,恰好相加为 n,所以两者互为 Rⁿ 中的正交补。同理,列空间维数 r、左零空间维数 m−r 相加为 m,互为 Rᵐ 中的正交补。

例如 A=[[1,2,0],[0,1,1]] 时,普通零空间中的向量 h=(2,−1,1)ᵀ:第一行1×2+2×(−1)=0,第二行−1+1=0。因而它与整个两维行空间正交;行空间维数2,零空间维数1,刚好铺满 R³。

判断 Ax=b 是否可能。

如果 b 不在 C(A) 中,就存在非零 y∈N(Aᵀ),使 yᵀb≠0。因为对任何 Ax 都有 yᵀAx=0,目标却满足 yᵀb≠0,这就成为无解的证据。对 y 再按 yᵀb 归一化,可得到 yᵀb=1 的形式。

随堂检查 03 · 行空间与零空间

对任意实矩阵 A,下列哪对空间互为同一环境中的正交补?
查看完整解析与错因

Ax=0意味着x与每一行正交;N(A)与C(Aᵀ)维数分别为n−r与r,合计n,互为正交补。

04 / NORMAL EQUATIONS / KERNEL

矩阵 AᵀA 虽然变成方阵,
零空间却完全没改变。

对任意实矩阵 A,若 Ax=0,显然 AᵀAx=0。反过来,若 AᵀAx=0,左乘 xᵀ 得 xᵀAᵀAx=||Ax||²=0。向量长度平方只有在向量等于零时才为零,所以 Ax=0。由此严格证明:

N(AᵀA)=N(A)rank(AᵀA)=rank(A)AᵀA 可逆 ⇔ A 的列线性无关

例如 A=[[1,0],[1,1],[1,2]] 有两列且独立,AᵀA=[[3,3],[3,5]]。消元得到第二主元2不为0,所以可逆。若 A 的两列相同,AᵀA 仍有相同的零空间方向(1,−1)ᵀ,不可能凭乘转置就“治好”相关性。

这和下一节联系紧密:当 Ax=b 没有精确解时,寻找距离 b 最近的 Ax,必要条件是残差与 C(A) 正交,即 Aᵀ(Ax−b)=0,正是正规方程 AᵀAx=Aᵀb。本讲只解释这个方程为什么自然出现;求解与投影放到随后两讲。

随堂检查 04 · AᵀA 的零空间

若 A 的列相关,那么 AᵀA 可能变为可逆方阵吗?
查看完整解析与错因

若A有非零h使Ah=0,则AᵀAh=0,AᵀA有非零零空间,所以不可逆;反向也通过||Ah||²=0证明等价。

PRACTICE / EXPLAIN EVERY STEP

独立写出过程,
再展开答案。

先检查运算,再解释为什么这样做。以下题目为本站重新设计,难度参照本讲实际授课内容和可获得的配套练习。

01 / 勾股定理与点积

给出 u=(3,−1)、v=(1,3),计算 uᵀv、||u||²、||v||²和||u+v||²,验证勾股等式。

展开完整解析

uᵀv=3×1+(−1)×3=0;||u||²=9+1=10,||v||²=1+9=10,u+v=(4,2),其长度平方为16+4=20=10+10。

02 / 求一条线的正交补

在 R³ 中 S=span{(1,2,0)},求 S⊥ 的一组基并验证其维数。

展开完整解析

条件x+2y=0,令y=s、z=t得(x,y,z)=s(−2,1,0)+t(0,0,1)。两向量独立并满足与(1,2,0)点积为0,构成S⊥基,维数2;加上dimS=1为3。

03 / 行空间与零空间相互垂直

对 A=[[1,2,0],[0,1,1]],完整求 N(A),并证明零向量与全部行空间正交。

展开完整解析

第二行给x₂=−x₃,第一行给x₁=−2x₂=2x₃。设x₃=t得到N(A)=span{(2,−1,1)}。其与两条行(1,2,0)、(0,1,1)点积均为0,因此与任意行组合也垂直。

04 / 以左零向量判无解

令 A=[[1,0],[0,1],[1,1]],b=(1,2,4)ᵀ。找一个左零向量 y,证明 Ax=b 无解。

展开完整解析

第三行是前两行之和,故y=(−1,−1,1)满足Aᵀy=0。计算yᵀb=−1−2+4=1≠0;若Ax=b则yᵀb=yᵀAx=0,矛盾,所以无解。

05 / AᵀA 的核为什么不变

证明对实矩阵 A,N(AᵀA)=N(A),并由此解释何时 AᵀA 可逆。

展开完整解析

Ax=0直接推出AᵀAx=0;AᵀAx=0时左乘xᵀ得||Ax||²=0,必有Ax=0,所以两零空间相同。AᵀA是n×n方阵,可逆当且仅当零空间只有0,也即A无非零零向量,列线性无关。

06 / 实验中的一般点积

对 u=(2,1)、v=(−2,−2),计算点积与勾股差值,并判断正交性。

展开完整解析

点积为2×(−2)+1×(−2)=−6,非零。勾股差值是2uᵀv=−12。直接核对:u+v=(0,−1),长度平方1;||u||²=5、||v||²=8,差为1−5−8=−12,故不正交。

THE IDEA TO KEEP

Ax=0 说明 x 与每一行正交;因此行空间和零空间互为正交补,列空间和左零空间亦然。N(AᵀA)=N(A) 把这一几何事实转化成最小二乘的代数工具。

本讲 4 道随堂题,可逐项答题并查看反馈。

本节使用实向量的标准欧几里得点积。复向量的共轭内积与更一般的内积空间会在后续课程扩展。

返回线性代数目录 ↗
本讲参考的大学材料

MIT 18.06SC · Orthogonal Vectors and Subspaces。可复核资料:official session ↗official summary ↗official problems ↗official solutions ↗。

核对 MIT Session 2.1 讲义两页正文及页面图像、官方练习16.1–16.2和对应解答;未完整观看视频、未通读教材。 本站不是 MIT 官方中文译课;文字、数值案例、模型和题目独立设计。