第七章：区间估计

从枢轴量、t 区间和 Wilson 区间进入渐近、似然与 Bootstrap 置信区间，并检查重复抽样覆盖率。

第七章：区间估计

点估计给出一个数，区间估计进一步说明这个数有多不确定。一个合格的置信区间必须回答：

区间针对哪个参数？
覆盖概率来自什么重复抽样机制？
公式是有限样本精确结果，还是大样本近似？
方法依赖正态、独立同分布、方差齐性或其他条件吗？
样本量很小、参数接近边界或分布偏斜时会怎样？

学习成果

完成本章后，你应能够：

正确解释置信水平与覆盖率，而不把参数误说成随机变量；
从枢轴量推导正态均值、方差和均值差的精确区间；
区分 z 区间、t 区间、Wald 区间和 Wilson 区间；
使用渐近正态性和 Delta 方法构造一般参数区间；
解释似然比区间、Bootstrap 区间和贝叶斯可信区间的差异；
用 Python 与 R 做 Monte Carlo 覆盖率实验；
根据参数边界、偏斜、样本量和数据依赖结构选择方法。

1. 置信区间究竟保证什么

设数据 $X=(X_1,\ldots,X_n)$ 来自参数为 $\theta$ 的模型。区间

C(X)=[L(X),U(X)]

是样本的函数，因此重复抽样时会变化。若

P_\theta\{\theta\in C(X)\}=1-\alpha,

则称它是覆盖率为 $1-\alpha$ 的置信区间。

频率学派的正确解释是：

若按同一抽样设计无限次重复收集数据并构造区间，长期约有 $100(1-\alpha)\%$ 的区间覆盖固定真参数。

观测到具体区间后，它要么覆盖真参数，要么没有覆盖。不能在不引入贝叶斯后验的情况下说“这个固定参数有 95% 概率落在已经算出的区间内”。

95% 置信区间描述构造程序的长期覆盖性质。它不表示模型有 95% 概率正确，也不表示重复研究有 95% 概率显著。

2. 枢轴量：精确区间的核心

枢轴量是同时依赖样本和未知参数，但其分布不依赖未知参数的统计量。若

P\{a\le Q(X,\theta)\le b\}=1-\alpha,

并能把不等式反解为 $\theta$ 的范围，就得到置信区间。

2.1 正态均值、方差已知

若 $X_i\overset{iid}{\sim}N(\mu,\sigma^2)$ 且 $\sigma$ 已知，则

Z=\frac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1).

因此

\mu\in \left[ \bar X-z_{1-\alpha/2}\frac{\sigma}{\sqrt n}, \bar X+z_{1-\alpha/2}\frac{\sigma}{\sqrt n} \right].

区间半宽由临界值、总体波动和样本量共同决定。样本量增加四倍，标准误和区间半宽约减半。

2.2 正态均值、方差未知

用样本标准差 $S$ 替代未知 $\sigma$ 后，

T=\frac{\bar X-\mu}{S/\sqrt n}\sim t_{n-1}.

精确区间为：

\mu\in \left[ \bar X-t_{1-\alpha/2,n-1}\frac{S}{\sqrt n}, \bar X+t_{1-\alpha/2,n-1}\frac{S}{\sqrt n} \right].

t 临界值比 1.96 大，是因为估计 $\sigma$ 引入额外不确定性。

交互例子：一次小样本均值区间

Python：手工构造 t 区间

R：手工构造 t 区间

把置信水平改为 0.90 或 0.99，观察区间宽度。提高置信水平意味着要求构造程序更常覆盖真值，因此必须接受更宽区间。

3. 正态总体方差的精确区间

若 $X_i\overset{iid}{\sim}N(\mu,\sigma^2)$ ，则

\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}.

把卡方分位数反解后：

\left[ \frac{(n-1)S^2}{\chi^2_{1-\alpha/2,n-1}}, \frac{(n-1)S^2}{\chi^2_{\alpha/2,n-1}} \right]

是 $\sigma^2$ 的置信区间。由于卡方分布不对称，方差区间一般也不以 $S^2$ 为中心对称。

若总体不是正态，以上有限样本精确分布通常不成立。样本方差对厚尾和极端值尤其敏感。

4. 两总体参数的区间

4.1 独立样本均值差

两个总体方差不必相等时，Welch 区间为：

(\bar X-\bar Y) \pm t_{1-\alpha/2,\nu} \sqrt{\frac{S_X^2}{n_X}+\frac{S_Y^2}{n_Y}},

其中自由度 $\nu$ 用 Welch–Satterthwaite 近似。除非有充分证据支持方差相等，实践中通常优先使用 Welch 方法。

4.2 配对样本

对同一对象前后测量时，应先构造差值 $D_i=X_i-Y_i$ ，再对 $E[D]$ 构造单样本 t 区间。配对设计利用个体内相关性，不能把两列数据当独立样本。

4.3 两个比例之差

大样本 Wald 区间为：

(\hat p_1-\hat p_2) \pm z_{1-\alpha/2} \sqrt{\frac{\hat p_1(1-\hat p_1)}{n_1} +\frac{\hat p_2(1-\hat p_2)}{n_2}}.

比例接近 0 或 1、样本量较小时，Wald 近似可能很差，应考虑 score、Wilson、精确或似然方法。

5. 比例参数：为什么 Wald 区间常失灵

单一比例的 Wald 区间为：

\hat p\pm z_{1-\alpha/2} \sqrt{\frac{\hat p(1-\hat p)}{n}}.

它可能越过 $[0,1]$ ，且在小样本和稀有事件下覆盖率明显低于标称水平。

Wilson 区间来自 score 检验反演。令 $z=z_{1-\alpha/2}$ ，其中心和半宽为：

\text{center} =\frac{\hat p+z^2/(2n)}{1+z^2/n},

\text{half-width} =\frac{z}{1+z^2/n} \sqrt{\frac{\hat p(1-\hat p)}{n}+\frac{z^2}{4n^2}}.

Wilson 区间自动保持在合理范围附近，有限样本覆盖通常更好。

覆盖率实验

下面设 $n=30$ 、真比例 $p=0.05$ 。这是 Wald 区间容易失败的场景。

Python：Wald 与 Wilson 覆盖率

R：Wald 与 Wilson 覆盖率

把 $p$ 改为 0.5，或把 $n$ 改为 300，观察大样本近似何时改善。

6. 渐近正态与 Delta 方法

若

\sqrt n(\hat\theta-\theta) \xrightarrow{d}N(0,V),

且有一致标准误估计 $\widehat{SE}(\hat\theta)$ ，Wald 区间为：

\hat\theta \pm z_{1-\alpha/2}\widehat{SE}(\hat\theta).

对变换参数 $g(\theta)$ ，Delta 方法给出：

\sqrt n\{g(\hat\theta)-g(\theta)\} \xrightarrow{d} N\left(0,[g'(\theta)]^2V\right).

例如估计正参数 $\theta>0$ 时，可先对 $\log\theta$ 构造对称区间，再指数变换回原尺度，保证端点为正。与直接在原尺度使用 Wald 区间相比，这常更符合参数边界和分布偏斜。

7. 似然区间

若 $\ell(\theta)$ 是对数似然，似然比区间可写为：

2\{\ell(\hat\theta)-\ell(\theta)\} \le \chi^2_{1,1-\alpha}.

它保留似然曲面的不对称性，在参数接近边界或似然明显偏斜时可能优于对称 Wald 区间。代价是需要对候选参数重复计算或优化似然。

Score、Wald 和 likelihood-ratio 三类区间在正则大样本下渐近等价，但有限样本表现可能不同。

8. Bootstrap 区间

Bootstrap 通过重抽样近似估计量的抽样分布。常见区间包括：

方法	构造	主要特点
正态近似	$\hat\theta\pm z\,\widehat{SE}_{boot}$	简单，但忽略偏斜
百分位	Bootstrap 分布的分位数	直观、变换不变
Basic	$2\hat\theta-q_{1-\alpha/2},\,2\hat\theta-q_{\alpha/2}$	反射 Bootstrap 偏差
BCa	校正偏差与加速度	精度更高，计算更复杂
Studentized	对标准化统计量重抽样	理论性质好，常需嵌套计算