第一章:概率论基础
从样本空间与概率公理进入条件概率、独立性、全概率和贝叶斯公式。
第一章:概率论基础
案例: 一项检测灵敏度 95%、特异度 90%。检测阳性的人真正患病概率是 95% 吗?
概率不是直觉强弱,而是在清楚样本空间与信息条件下,对事件不确定性的量化。
学习目标
你应能:
- 定义样本空间、事件与概率;
- 使用补集、加法公式和计数法;
- 区分条件概率与独立性;
- 用全概率公式拆分路径;
- 用贝叶斯公式更新概率并解释基准率。
1. 样本空间先于公式
随机试验所有可能基本结果组成样本空间 ,事件 。概率测度满足:
- ;
- ;
- 对两两互斥的 ,
立即得到:
在等可能有限样本空间中才可使用 。现实中的医学状态、金融损失或天气路径通常不是等可能计数问题。
2. 条件概率改变了参照总体
乘法公式:
条件概率 与反向条件概率 通常不同。检测灵敏度是“患病条件下阳性”,病后概率是“阳性条件下患病”。
3. 独立不是互斥
若 互斥且概率都为正,则知道 发生会排除 ,所以它们不独立。独立表示获知一个事件不改变另一个事件的概率。
两两独立也不保证相互独立。研究多个变量时必须说明是哪一级独立性。
4. 全概率与贝叶斯公式
若 构成互斥且完备的划分:
贝叶斯公式:
它把先验基准率与新证据的似然结合。证据很准确时,低基准率仍可能让阳性结果中出现大量假阳性。
5. 可运行案例:低患病率下的阳性预测值
设患病率 1%、灵敏度 95%、特异度 90%。代码先算精确后验,再模拟 300,000 人。
Py
Python:检测准确率、基准率与后验概率
“95% 灵敏度”不能写成“阳性后有 95% 患病概率”。在这组参数下,大量健康人中的 10% 假阳性会超过少量患者中的真阳性。
6. 树形思维
处理条件概率问题时先画路径:
Rendering diagram…
每条完整路径概率相乘,互斥路径概率相加。这样比直接套贝叶斯公式更不容易把条件方向颠倒。
7. 常见反直觉
- Monty Hall: 主持人开门不是随机缺失,而是依赖奖品位置的信息机制。
- 生日问题: 比较的是任意一对相同,不是某人与指定日期相同。
- 辛普森悖论: 分层内关系与合并关系可相反,原因是组别构成变化。
- 重复检测: 两次误差若受同一仪器或生理因素影响,不能简单按独立概率相乘。
8. 诊断清单
- 样本空间是否完整且互斥?
- “给定”信息改变了哪个参照总体?
- 是否把 与 混淆?
- 独立性是制度假设、模型假设还是可检验证据?
- 基准率来自目标人群还是另一个样本?
- 数据缺失或选择机制是否携带信息?
课堂任务
机场安检报警率为:危险品携带者中 98% 报警,普通旅客中 3% 报警;携带率为万分之一。
- 画概率树;
- 计算报警后的携带概率;
- 把普通旅客误报率降到 0.3% 后重算;
- 说明为何连续两台机器的结果未必独立。
核心阅读
- Blitzstein & Hwang, Introduction to Probability(含开放课程)。
- Ross, A First Course in Probability,条件概率与独立性章节。
- Bayes’ theorem 的现代解释可对照 Wasserman, All of Statistics,第 8 章。