第五章:收敛与渐近理论

连接大数定律、中心极限定理、Slutsky 定理与 Delta 方法,并识别重尾和依赖下的失败。

第五章:收敛与渐近理论

案例: 样本量越来越大时,样本均值一定稳定且近似正态吗?柯西分布告诉我们:不一定。

渐近理论描述一列随机变量在样本量增加时的行为。它提供近似,不会让有限样本自动变成理想模型。

学习目标

你应能:

  1. 区分几乎处处、依概率、均方与依分布收敛;
  2. 陈述弱大数定律与经典中心极限定理;
  3. 使用连续映射、Slutsky 与 Delta 方法;
  4. 把渐近分布转换为标准误和区间;
  5. 识别重尾、依赖、非同分布与高维增长风险。

1. 四种收敛

设随机变量序列 XnX_nXX

类型记号直觉
几乎处处收敛Xna.s.XX_n\xrightarrow{a.s.}X除零概率路径外逐点收敛
依概率收敛XnpXX_n\xrightarrow{p}X偏离超过任意 ε\varepsilon 的概率趋于 0
均方收敛XnL2XX_n\xrightarrow{L^2}XE[(XnX)2]0E[(X_n-X)^2]\to0
依分布收敛XndXX_n\xrightarrow{d}XCDF 在连续点收敛

常见关系:

L2pd,a.s.p.L^2\Rightarrow p\Rightarrow d, \qquad a.s.\Rightarrow p.

反向一般不成立。若极限是常数,依分布收敛到该常数等价于依概率收敛。

2. 大数定律:平均值稳定

X1,,XnX_1,\ldots,X_n iid 且 EXi<E|X_i|<\infty,弱大数定律给出:

Xˉnpμ.\bar X_n\xrightarrow{p}\mu.

它说明一致性,不给出收敛速度或有限样本误差分布。独立同分布只是经典版本;更一般结果可以允许弱依赖或异质性,但要替换相应条件。

3. 中心极限定理:缩放后的误差近似正态

若 iid、E[Xi]=μE[X_i]=\mu0<σ2<0<\sigma^2<\infty,则

nXˉnμσdN(0,1).\sqrt n\frac{\bar X_n-\mu}{\sigma} \xrightarrow{d}N(0,1).

因此

XˉnN(μ,σ2n).\bar X_n\approx N\left(\mu,\frac{\sigma^2}{n}\right).

n30n\ge30”不是定理。偏度、重尾、离群值、相关与稀有事件会改变近似速度。

4. Slutsky 与连续映射

XndXX_n\xrightarrow{d}XYnpcY_n\xrightarrow{p}c,则:

Xn+YndX+c,XnYndcX,X_n+Y_n\xrightarrow{d}X+c,\qquad X_nY_n\xrightarrow{d}cX,

c0c\ne0Xn/YndX/cX_n/Y_n\xrightarrow{d}X/c

这允许用一致估计的标准差 SnS_n 替换未知 σ\sigma,从不可行标准化走向可行统计量。

5. Delta 方法

n(θ^θ)dN(0,V)\sqrt n(\widehat\theta-\theta)\xrightarrow{d}N(0,V)

ggθ\theta 可微,则

n{g(θ^)g(θ)}dN(0,[g(θ)]2V).\sqrt n\{g(\widehat\theta)-g(\theta)\} \xrightarrow{d}N(0,[g'(\theta)]^2V).

例如对 g(θ)=logθg(\theta)=\log\theta,渐近方差乘以 1/θ21/\theta^2。当 g(θ)=0g'(\theta)=0、参数在边界或函数不光滑时,一阶 Delta 方法可能失效。

6. 可运行案例:指数均值与柯西均值

指数分布有有限均值和方差,标准化样本均值逐渐接近正态。标准柯西分布没有有限均值;不同样本量下样本均值仍是柯西分布,不会向常数集中。

Py

Python:CLT 的成功与重尾失败

Idle

指数样本的标准化分位数逐渐靠近正态参考值;柯西样本均值的宽度没有按 1/n1/\sqrt n 收缩。样本量大不能弥补不存在的矩。

7. 渐近理论的边界

风险为什么经典结论会失效可考虑
无限方差重尾n\sqrt n 缩放与正态极限不再合适稳健估计、稳定分布理论
时间/空间依赖有效信息量小于观测数mixing 条件、HAC、块 Bootstrap
聚类数据组内观测不独立按独立分配单元推断
参数在边界极限分布可能非正态专门边界理论、模拟
维度随 nn 增长固定维渐近失效高维理论、正则化
弱识别正态近似不均匀弱识别稳健推断

8. 诊断清单

  • 渐近序列是什么:单位数、时间长度还是两者?
  • 有限的一阶、二阶或更高矩是否存在?
  • 独立性或弱依赖条件是否可信?
  • 标准误是否反映聚类与序列相关?
  • 变换点是否可微且不在边界?
  • 样本量相对参数维数是否足够?
  • 是否用模拟检查有限样本覆盖和偏差?

课堂任务

对 Bernoulli 样本比例 p^\widehat p

  1. 写出 LLN 与 CLT;
  2. g(p)=log[p/(1p)]g(p)=\log[p/(1-p)] 使用 Delta 方法;
  3. 解释 pp 接近 0 或 1 时近似为何变差;
  4. 设计模拟比较 p=0.5p=0.5p=0.01p=0.01 的区间覆盖。

核心阅读

  • van der Vaart, Asymptotic Statistics,第 2–3 章。
  • Billingsley, Probability and Measure,极限定理章节。
  • Wasserman, All of Statistics,第 5–6 章。

上一章:常见分布族|下一章:抽样分布

Copyright © 2026