跳转课程正文

HARVARD STATISTICS 110 · LECTURE 05

全概率公式与条件独立

本站锁定的课程目录主题 · Law of total probability and conditional independence

当一件事可能由很多路径导致,我们如何正确把这些路径加起来?当两个事件在给定背景后变得独立,为什么移除背景又可能产生相关性?

先修:第4讲的条件概率、乘法法则与贝叶斯公式4 个教学模块4 道理解检查 · 5 道完整解析练习

01 / PARTITION

所谓全概率,就是先把所有可能来源分开。

设 B₁、B₂、…、Bₙ 是样本空间 Ω 的一个划分:每个 Bᵢ 都是事件,任意两个互不相交,所有 Bᵢ 的并集等于 Ω。并假定 P(Bᵢ)>0(零概率分支可直接省略)。任何事件 A 都能拆成 (A∩B₁)、…、(A∩Bₙ) 这些互不相交的部分。

根据概率可加性与条件概率乘法法则,P(A∩Bᵢ)=P(Bᵢ)P(A|Bᵢ)。于是:

P(A)=Σi=1,…,nP(Bᵢ)P(A|Bᵢ)

这里的 P(Bᵢ) 是“走进第 i 条路径”的概率,P(A|Bᵢ) 是“在那条路径上发生 A”的条件概率。两者相乘是该路径对 A 的贡献,最后把贡献相加。只有在这些 Bᵢ 互斥并覆盖所有可能时,求和才不会漏或重复。

理解检查 01 · 划分条件

为了用全概率公式,B₁、B₂、B₃ 必须满足什么?
无须脚本 · 查看完整推导

划分定义是两两互斥且并为Ω,正概率分支才能使用标准的条件概率记号。

02 / WEIGHTED PATHS

整体次品率不是三个次品率的算术平均。

设某工厂甲、乙、丙线的产量比例依次为 50%、30%、20%,各自产品出现瑕疵的概率分别为 1%、4%、10%。随机取一件总出厂产品,求瑕疵事件 D 的概率。

P(D)=0.5×0.01+0.3×0.04+0.2×0.10=0.005+0.012+0.020=0.037

这意味着总体次品率为 3.7%。如果已知样品有瑕疵,追问来自丙线的概率,则要反转方向:P(丙|D)=P(丙)P(D|丙)/P(D)=0.02/0.037≈54.05%。丙线只占20%产量,却贡献了超过一半的瑕疵件;这不是矛盾,而是条件概率的方向变化。

加权而非平均

甲乙丙三条线路的权重并不相同。把 1%、4%、10% 简单平均成5%会高估真实总体瑕疵率。只要你知道“抽到每条线的比例”和“每条线内部的比例”,就能通过全概率重建总体。

理解检查 02 · 加权计算

一条线占40%产量,次品率5%;另一条占60%,次品率2%。整体次品率?
无须脚本 · 查看完整推导

两条来源不交且覆盖总体,P(次品)=0.020+0.012=0.032。

03 / LIVE PARTITION

改变丙线的瑕疵率,整体和来源后验必须一起变化。

实验保持三条线的产量比 0.5、0.3、0.2,甲线瑕疵率 1%、乙线4%不变,只调整丙线瑕疵率。每一项计算均严格使用前述公式,概率不是装饰性动画。

LIVE MODEL · TOTAL PROBABILITY甲 50% × 1% 乙 30% × 4% 丙 20% × 可调
整体瑕疵率 3.70%
瑕疵来自丙线 54.05%
丙线贡献 2.00%

整体概率为甲、乙、丙三条互斥路径的瑕疵概率之和:0.005+0.012+0.020=0.037。

尤其留意丙线瑕疵率为0时,P(丙|D)=0;尽管仍有20%的产量来自丙线,但瑕疵产品不可能来自该线。这再次提醒你后验不是先验。

理解检查 03 · 贝叶斯方向

在本讲三条生产线模型中,已知出现瑕疵,来自丙线概率约为?
无须脚本 · 查看完整推导

P(丙|D)=P(D|丙)P(丙)/P(D)=0.1×0.2/0.037≈54.05%。

04 / CONDITIONAL INDEPENDENCE

共同背景可以创造依赖,也可以消除依赖。

给定事件 C 且 P(C)>0,我们说 A、B 在 C 条件下独立,当且仅当 P(A∩B|C)=P(A|C)P(B|C)。如果 P(B|C)>0,也等价于 P(A|B∩C)=P(A|C)。注意这里所有概率都限制在 C 的世界内。

一个小模型:随机选择两台机器之一,各占一半。好机器每次产出合格品概率0.9,差机器每次概率0.1。给定机器类型时,两次出品结果独立。把背景隐藏后,任一次合格概率为 (0.9+0.1)/2=0.5;但两次都合格的概率为 (0.9²+0.1²)/2=0.41,而 0.5²=0.25。给定机器独立,却不意味着总体独立。

P(A∩B|C)=P(A|C)P(B|C)本例:P(两次合格)=0.41 ≠ P(一次合格)²=0.25

反过来,无条件独立也不能保证给定任意 C 后仍独立。不能把“独立”和“条件独立”互换,这一差别在医学检测、推荐系统与隐藏变量模型中都至关重要。

理解检查 04 · 条件独立

给定好或差机器,两次结果独立。隐藏机器类型后,本例两次合格是否独立?
无须脚本 · 查看完整推导

每次边缘合格概率为0.5;两次合格概率0.5×0.9²+0.5×0.1²=0.41,非0.25。

PRACTICE · VERIFY YOUR REASONING

自己推一遍,再看答案。

所有课后题均由本站根据大学课程能力目标原创,先写出模型假设和推导,再展开解答核对。随堂选择题即使关闭 JavaScript,依然可以查看完整解析。

01 · 一般公式证明

设 Bᵢ 构成有限划分,用可加性和条件概率乘法法则证明 P(A)=ΣP(Bᵢ)P(A|Bᵢ)。

查看分步解答

由于 A=∪(A∩Bᵢ),这些交集两两互斥,故 P(A)=ΣP(A∩Bᵢ)。由 P(A∩Bᵢ)=P(Bᵢ)P(A|Bᵢ)(P(Bᵢ)>0),逐项代入即得。

02 · 三路径复算

一种邮件来自三个渠道,权重 0.2、0.3、0.5,垃圾率 0.1、0.02、0.04。求整体垃圾邮件概率。

查看分步解答

0.2×0.1+0.3×0.02+0.5×0.04=0.02+0.006+0.02=0.046,即4.6%。

03 · 概率反推

承接上一题,已知邮件是垃圾邮件,求来自第一个渠道的概率。

查看分步解答

P(第一渠道|垃圾)=0.2×0.1/0.046=0.02/0.046=10/23≈43.48%,尽管第一渠道先验只有20%。

04 · 条件与总体反例

机器优劣各半,给定机器两次合格概率独立,分别为0.8和0.2。计算两次同时合格概率,并判断总体是否独立。

查看分步解答

单次合格概率 0.5×0.8+0.5×0.2=0.5。两次都合格 0.5×0.8²+0.5×0.2²=0.34,不等于0.25,因此总体不独立。

05 · 反向不成立

设 A、B 为独立公平硬币的‘第一次正面’和‘第二次正面’,C 表示两次结果相同。证明在 C 条件下 A、B 不独立。

查看分步解答

C={HH,TT},给定 C 后各占1/2。P(A|C)=P(B|C)=1/2,但 P(A∩B|C)=P(HH|C)=1/2≠1/4,所以无条件独立却并非在 C 下独立。

KEEP LEARNING · FOLLOW THE SOURCE ORDER

能解释条件和推导,就算真正学会。

本讲共 4 道理解检查。完成后建议独立完成 5 道课后练习。

这讲正式系统处理全概率和条件独立。连续证据的推广只在给定条件独立时才可使用,不把未验证的独立性当捷径。

查看概率论 34 讲目录 ↗
来源依据与真实性说明

课程目录主题 Law of total probability and conditional independence;该讲原始视频标题另记为 Lecture 5: Conditioning Continued, Law of Total Probability ↗。本讲已核对官方课次目录,并按可获得的官方练习选段与明确标注为非官方的课堂笔记对照知识点;没有完整看过官方视频,也没有取得官方逐字稿,不声称逐分钟复刻哈佛课程。

本站的案例、数字、测验、交互及课后题为独立编写;未将大学原题与课件照搬到网页。