01 / INDEPENDENCE
“互不影响”和“不能同时发生”,是两回事。
抛一枚公平硬币两次。令 A 为“第一次正面”,B 为“第二次正面”。四个等可能结果是 HH、HT、TH、TT,所以 P(A)=P(B)=1/2,而同时发生的结果只有 HH,概率是 1/4。
事件 A 与 B 这种关系称为独立:知道第一次正面,并没有让第二次出现正面的概率改变。一般地,若 P(A∩B)=P(A)P(B),就说这两个事件独立。
反过来,“第一次正面”和“第一次反面”是互斥事件,它们不能同时发生,交集概率为 0。如果二者各有正概率,就不可能独立:因为 P(A)P(B) 大于 0。
抛 6、12、18 颗公平骰子,比较“至少出现 1、2、3 个六点”的概率。这个问题要使用独立试验、补集与二项计数。例如 6 颗骰子至少出现一个六点的概率是 1−(5/6)⁶,约 66.5%;另外两种约为 61.9% 与 59.7%。这里的重点不是记住数字,而是知道为何可以相乘:每颗骰子的结果彼此独立。
理解检查 01 · 独立性
先用独立的定义计算。
查看完整解析
B。独立意味着 P(A∩B)=P(A)P(B)=0.4×0.5=0.2。若 A、B 都有正概率又互斥,便不满足独立条件。
02 / CONDITIONAL PROBABILITY
知道 B 已经发生,样本空间就变了。
从一个装有 10 张等可能卡片的盒子里抽 1 张。其中 5 张是蓝色、5 张是白色;蓝色卡片中有 3 张印有星星,白色卡片中有 1 张印有星星。定义 A 为“抽到蓝色”,B 为“抽到星星”。
若没有新信息,蓝色卡片有 5/10;但现在已经看见“有星星”,候选就只剩下 4 张有星的卡片,其中 3 张蓝色。因此:
符号 P(A|B) 读作“给定 B 发生时,A 发生的概率”。注意这里必须满足 P(B) > 0,否则不能除以 P(B)。这个公式不是凭空规定分数,而是把原样本空间重新限定在 B 里面。
对同一个交集,也可以先限制到 A 再看 B:
这就是条件概率的乘法法则。有三个或更多事件时,可依次在已发生的前面事件下计算后续事件的条件概率;不需要假定它们独立。
理解检查 02 · 条件方向
竖线右边是谁,就先将样本空间限制在谁里面。
查看完整解析
D。P(有星|蓝)=3/5,而 P(蓝|有星)=3/4。它们的条件事件不同,分母也不同;一般不能把这两个概率交换。
03 / BAYES' RULE — PROOF
贝叶斯定理并不神秘:
把同一个交集算两次。
设 H 是我们关心的一个假设,E 是后来观察到的证据。我们通常知道“如果 H 为真,E 出现的概率是多少”,即 P(E|H);但真正想知道的却是“看见 E 后,H 成立的概率”,即 P(H|E)。
把上一节乘法法则两种写法放在一起:
只要 P(E)>0,这就是贝叶斯定理。等式真正做的事,是把条件的方向从 E|H 反转为 H|E,并且用 P(E) 正确归一化。
当 H 与它的补集 Hᶜ 构成全部可能的情形时,观察到 E 只有两条互斥来源:H 下出现 E,或非 H 下出现 E。因此:
分母必须包含**所有可能产生 E 的路径**。如果忘记“非 H 也能产生 E”,结果就会被严重高估。对多个互斥且穷尽的原因,分母同理是各原因的“先验 × 对应证据概率”之和;这与后面正式学习的全概率公式直接相连。
先验 P(H) 是观察证据之前的假设概率;似然 P(E|H) 是假设成立时出现这种证据的概率;后验 P(H|E) 是看到证据之后更新得到的假设概率。似然本身不是后验,二者的条件方向不同。
理解检查 03 · 贝叶斯分母
先求 P(E),再求后验。
查看完整解析
C。H 并且 E 的概率是 0.08,非 H 但 E 的概率是 0.18。所有 E 的概率为 0.26,所以 P(H|E)=0.08/0.26=4/13,约 30.77%。
04 / BASE RATES — INTERACTIVE LAB
准确率很高,
为什么“报警之后真有问题”的概率仍然低?
假设某系统识别异常活动:只有 2% 的活动真正异常;真正异常时有 90% 的概率触发警报;正常活动却也有 8% 的概率触发误报。现在看到一条警报,异常的概率究竟是多少?
不要把“真异常时会报警”当成“报警就一定真异常”。我们先把概率换成 10,000 条活动中的人数(这里只是一个假设模型,不是实际风险统计)。
180 ÷ (180 + 784) = 18.67%
10,000 条活动中,共有 964 条触发警报,其中 180 条是真异常、784 条是误报。警报的可信度约为 18.67%。
滑块值均为百分数,10,000 个样本保证每个分支的计数为整数。公式、柱形图和口头解释使用同一组数据更新。无 JavaScript 时可直接读取初始示例及下面的计算。这就是基准率的重要性:正常活动远多于异常活动,哪怕单次误报率不高,误报的总数也可能超过真警报。反过来,当先验比例、检出率和误报率改变时,后验会发生怎样的变化?可以亲手调整三个滑块,不必盲猜。
理解检查 04 · 基准率
试着把第一个滑块调小。
查看完整解析
A。当先验降到 1% 时,真正异常且报警是 0.009;正常但报警是 0.99×0.08=0.0792。后验变为 0.009/0.0882≈10.20%,低于 18.67%。
05 / BAYES IN ODDS FORM · ADVANCED PRACTICE
另一种更有力量的写法:
证据把赔率放大多少倍?
概率 p 对应的赔率(odds)是 p/(1−p)。例如某假设的概率为 1/4,其赔率便是 1:3;这里的“1:3”不是 1/3 的概率,而是可能性与不可能性的权重之比。
分别对 H 和 Hᶜ 使用贝叶斯定理,除以对方的后验概率,公共的 P(E) 正好消掉,得到:
最后一个比值 P(E|H)/P(E|Hᶜ) 称为似然比(likelihood ratio)。它衡量的是“这种证据在 H 成立时出现的可能性,比 H 不成立时大多少倍”。如果比值大于 1,证据支持 H;小于 1,证据削弱 H;等于 1,证据没有改变 H 的赔率。
回到警报例子,先验赔率是 2:98,似然比是 90%/8%=11.25。于是:
与前一节人数法的结果完全一致。赔率法特别适合连续接收证据,也是哈佛 Strategic Practice & Homework 3 进一步训练的思路。
理解检查 05 · 似然比
把赔率乘上似然比,再将赔率转回概率。
查看完整解析
D。先验赔率 1:4;证据的似然比为6,所以后验赔率是6:4,即3:2;概率为3/(3+2)=60%。
06 / TWO PIECES OF EVIDENCE · ADVANCED PRACTICE
两个证据,为什么不能总是把似然比直接平方?
如果接连出现两次报警,可以继续使用贝叶斯定理。第一次更新后的后验成为第二次的先验。不过有一个关键前提:若要把两次的似然比直接相乘,必须明确假设两次报警在给定 H 与给定 Hᶜ 时分别条件独立,而且第二次的检出率与误报率没有变化。
在这个特定假设下,警报模型取先验 2%、检出率 90%、误报率 8%,两次均报警的概率路径为:
也可以按赔率算:第一次把先验赔率乘以 11.25,第二次再乘 11.25,最终赔率约为 2.583:1,对应 72.09%。两种方式一致,是因为都遵守相同的条件独立假设。
但假如两次警报由同一个故障造成、彼此高度相关,就不能把第二次当成一份独立的新证据。正确做法是使用 P(E₂|H,E₁) 与 P(E₂|Hᶜ,E₁),而不是简单重复 P(E₂|H) 与 P(E₂|Hᶜ)。这恰恰是概率论里最值得警惕的地方。
即使两次检测在“真正异常”或“真正正常”的人群内分别独立,混合两群之后,它们通常也不是无条件独立的。因为第一次结果改变了人群属于哪一类的概率,从而影响第二次的无条件预测。这是后续课程学习条件独立的关键桥梁。
理解检查 06 · 重复证据
判断独立的前提,而不是只看观察结果。
查看完整解析
B。两个报警的联合似然只有在给定 H 与 Hᶜ 时都可以分解成单次似然乘积,且两次参数相同,才可使用似然比平方。否则必须使用更一般的条件似然。
07 / EXERCISES & PROOFS
八道原创练习:从计算走向证明。
练习覆盖独立性的定义、逆向条件概率、全概率分母、赔率证明、连续更新及条件独立反例。每一题都可以先在纸上独立完成,再核对完整解析。
独立掷两枚公平骰子。A 表示第一枚为偶数,B 表示第二枚大于 4。求 P(A∩B);解释为什么“独立”不等于“互斥”。
展开分步解析
P(A)=3/6=1/2,P(B)=2/6=1/3。因为骰子独立,P(A∩B)=1/2×1/3=1/6。两件事可以同时发生,因此不互斥;互斥且概率都大于0的两事件不可能独立。
某仓库由甲车间供应 40% 的零件、乙车间供应 60%。甲次品率 3%,乙次品率 9%。随机抽到次品,问它来自甲的概率。
展开分步解析
设 A 为来自甲,D 为次品。P(A∩D)=0.4×0.03=0.012;P(D)=0.4×0.03+0.6×0.09=0.066,所以 P(A|D)=0.012/0.066=2/11≈18.18%。3% 是 P(D|A),不是所求 P(A|D)。
某监测事件的先验发生率为 1%,发生时报警概率 85%,未发生时报警概率 5%。求观察到报警后的事件概率,并解释其为何远低于 85%。
展开分步解析
P(H∩E)=0.01×0.85=0.0085;P(Hᶜ∩E)=0.99×0.05=0.0495;因此 P(H|E)=0.0085/(0.0085+0.0495)=17/116≈14.66%。因为原本未发生事件的人群远大于已发生事件的人群,所以误报在所有警报中占比较高。
只根据条件概率的定义,推导 P(H|E)=P(E|H)P(H)/P(E),指出需要什么条件。
展开分步解析
由条件概率定义(要求 P(E)>0),P(H|E)=P(H∩E)/P(E)。若 P(H)>0,则由 P(E|H)=P(E∩H)/P(H) 得 P(H∩E)=P(E|H)P(H)。代入即得。若 P(H)=0,等式可用乘法法则的自然约定表达,但 P(E|H) 在普通事件条件概率中本身未定义;应用时应明确假设 P(H)>0 与 P(E)>0。
某假设先验概率为 10%,新证据的似然比为 6。求后验赔率和后验概率。
展开分步解析
先验赔率为0.1/0.9=1/9。乘以似然比6,后验赔率为6/9=2/3,即2:3。转换为概率得(2/3)/(1+2/3)=2/5=40%。不能把“似然比6”直接解释为“后验概率60%”。
先验 P(H)=10%,每次测试在 H 下阳性率80%、在 Hᶜ 下阳性率20%,并假设两次结果分别在 H 和 Hᶜ 下条件独立。观察到两次均阳性,求后验。
展开分步解析
在 H 下两阳性的联合概率为0.8²=0.64;在 Hᶜ 下为0.2²=0.04。故后验为0.1×0.64/(0.1×0.64+0.9×0.04)=0.064/(0.064+0.036)=64%。等价地,先验赔率1/9乘两次似然比4²,变成16/9,得到概率16/25=64%。
在两类对象 H、Hᶜ 中各占 50%;在 H 类里,两次试验分别独立且每次成功率90%;在 Hᶜ 类里两次也独立但每次成功率10%。求两次都成功的无条件概率,判断两次结果是否无条件独立。
展开分步解析
每次试验无条件成功概率为0.5×0.9+0.5×0.1=0.5。两次都成功概率为0.5×0.9²+0.5×0.1²=0.5×0.82=0.41。若无条件独立应为0.5²=0.25;两者不同,因此两次结果虽在各类别下分别独立,混合后并不无条件独立。
证明在 0<P(H)<1、P(E|Hᶜ)>0 的情况下,若证据似然比 L=1,则后验等于先验;若 L>1,则后验严格高于先验。
展开分步解析
设先验 p∈(0,1),后验赔率为[p/(1−p)]L,所以后验 q=pL/(pL+1−p)。当 L=1,q=p。当 L>1,由 q−p=p(1−p)(L−1)/(pL+1−p)>0,所以 q>p。这还证明了若 L<1 且 L≥0,证据会降低假设概率。
学会的不应该只是一个公式。
你现在应该能够从条件概率证明贝叶斯定理;用人数、概率树或赔率更新假设;理解低先验造成的误报问题;并在连续证据下检查条件独立是否真的成立。
可以反复作答 6 道随堂理解题,再独立完成 8 道课后题。
下一讲哈佛 STAT 110 Lecture 5 将继续讨论全概率公式、条件独立和更多条件概率例子。它还没有本站中文正式讲义。
返回概率论学科目录 ↗本讲定位于 Harvard Stat 110 官方 Lecture 4 目录与Lecture 4: Conditional Probability。课程独立性、Newton–Pepys、条件概率与贝叶斯定理的内容范围,按官方课次和Strategic Practice & Homework核对;赔率与连续更新的进一步推导参考其中第 3 组练习。本文解释、图形、参数与习题为独立编写,不是哈佛官方中文讲义。完整来源覆盖记录仅供课程审校,不要求学生阅读。