第五章:收敛与渐近理论
连接大数定律、中心极限定理、Slutsky 定理与 Delta 方法,并识别重尾和依赖下的失败。
第五章:收敛与渐近理论
案例: 样本量越来越大时,样本均值一定稳定且近似正态吗?柯西分布告诉我们:不一定。
渐近理论描述一列随机变量在样本量增加时的行为。它提供近似,不会让有限样本自动变成理想模型。
学习目标
你应能:
- 区分几乎处处、依概率、均方与依分布收敛;
- 陈述弱大数定律与经典中心极限定理;
- 使用连续映射、Slutsky 与 Delta 方法;
- 把渐近分布转换为标准误和区间;
- 识别重尾、依赖、非同分布与高维增长风险。
1. 四种收敛
设随机变量序列 与 :
| 类型 | 记号 | 直觉 |
|---|---|---|
| 几乎处处收敛 | 除零概率路径外逐点收敛 | |
| 依概率收敛 | 偏离超过任意 的概率趋于 0 | |
| 均方收敛 | ||
| 依分布收敛 | CDF 在连续点收敛 |
常见关系:
反向一般不成立。若极限是常数,依分布收敛到该常数等价于依概率收敛。
2. 大数定律:平均值稳定
若 iid 且 ,弱大数定律给出:
它说明一致性,不给出收敛速度或有限样本误差分布。独立同分布只是经典版本;更一般结果可以允许弱依赖或异质性,但要替换相应条件。
3. 中心极限定理:缩放后的误差近似正态
若 iid、、,则
因此
“”不是定理。偏度、重尾、离群值、相关与稀有事件会改变近似速度。
4. Slutsky 与连续映射
若 、,则:
且 时 。
这允许用一致估计的标准差 替换未知 ,从不可行标准化走向可行统计量。
5. Delta 方法
若
且 在 可微,则
例如对 ,渐近方差乘以 。当 、参数在边界或函数不光滑时,一阶 Delta 方法可能失效。
6. 可运行案例:指数均值与柯西均值
指数分布有有限均值和方差,标准化样本均值逐渐接近正态。标准柯西分布没有有限均值;不同样本量下样本均值仍是柯西分布,不会向常数集中。
Py
Python:CLT 的成功与重尾失败
指数样本的标准化分位数逐渐靠近正态参考值;柯西样本均值的宽度没有按 收缩。样本量大不能弥补不存在的矩。
7. 渐近理论的边界
| 风险 | 为什么经典结论会失效 | 可考虑 |
|---|---|---|
| 无限方差重尾 | 缩放与正态极限不再合适 | 稳健估计、稳定分布理论 |
| 时间/空间依赖 | 有效信息量小于观测数 | mixing 条件、HAC、块 Bootstrap |
| 聚类数据 | 组内观测不独立 | 按独立分配单元推断 |
| 参数在边界 | 极限分布可能非正态 | 专门边界理论、模拟 |
| 维度随 增长 | 固定维渐近失效 | 高维理论、正则化 |
| 弱识别 | 正态近似不均匀 | 弱识别稳健推断 |
8. 诊断清单
- 渐近序列是什么:单位数、时间长度还是两者?
- 有限的一阶、二阶或更高矩是否存在?
- 独立性或弱依赖条件是否可信?
- 标准误是否反映聚类与序列相关?
- 变换点是否可微且不在边界?
- 样本量相对参数维数是否足够?
- 是否用模拟检查有限样本覆盖和偏差?
课堂任务
对 Bernoulli 样本比例 :
- 写出 LLN 与 CLT;
- 对 使用 Delta 方法;
- 解释 接近 0 或 1 时近似为何变差;
- 设计模拟比较 与 的区间覆盖。
核心阅读
- van der Vaart, Asymptotic Statistics,第 2–3 章。
- Billingsley, Probability and Measure,极限定理章节。
- Wasserman, All of Statistics,第 5–6 章。