第二章:线性回归与 OLS

把 OLS 当作线性投影与比较工具,掌握控制变量、遗漏变量、FWL 与稳健推断。

第二章:线性回归与 OLS

案例: 工资对受教育年限的回归系数,是教育回报,还是教育与能力共同选择的结果?

OLS 最擅长回答“在指定线性比较下,XXYY 如何共同变化”。只有当研究设计支持时,这个线性投影才有因果含义。

学习目标

你应能:

  1. 区分线性投影、条件均值与因果效应;
  2. 用遗漏变量偏误公式判断偏误方向;
  3. 用 FWL 定理解释“控制变量”做了什么;
  4. 识别混淆变量、精度变量、坏控制和碰撞点;
  5. 报告稳健标准误、置信区间与经济量级。

1. OLS 究竟估计什么

总体线性投影写为

Yi=β0+β1Di+Xiγ+ui,E[(1,Di,Xi)ui]=0.Y_i=\beta_0+\beta_1D_i+X_i'\gamma+u_i, \qquad E[(1,D_i,X_i')'u_i]=0.

β1\beta_1 是在所有线性函数中使均方误差最小的系数。它自动具有描述意义;要解释为处理效应,还需类似

E[Yi(d)Di,Xi]=E[Yi(d)Xi]E[Y_i(d)\mid D_i,X_i]=E[Y_i(d)\mid X_i]

的条件可交换性,以及一致性、重叠和正确的比较范围。

2. 遗漏变量偏误:先判断方向

真实模型若为

Y=β0+β1D+β2A+ε,Y=\beta_0+\beta_1D+\beta_2A+\varepsilon,

却遗漏 AA,简单回归系数满足

β~1=β1+β2Cov(D,A)Var(D).\widetilde\beta_1 =\beta_1+\beta_2\frac{\operatorname{Cov}(D,A)}{\operatorname{Var}(D)}.

若能力 AA 同时提高受教育年限和工资,则两项都为正,教育系数向上偏。这个公式不能证明真实世界偏误大小,但能迫使研究者写出方向逻辑。

3. FWL:控制就是先剥离可预测部分

Frisch–Waugh–Lovell 定理给出三步:

  1. 用控制变量 XX 回归 DD,取得残差 D~\widetilde D
  2. XX 回归 YY,取得残差 Y~\widetilde Y
  3. 回归 Y~\widetilde YD~\widetilde D

所得斜率与完整多元回归中的 DD 系数相同。因此 β1\beta_1 来自“控制变量相同的人之间仍剩下的 DD 差异”。如果剩余差异很少,重叠差、标准误大,模型也会依赖外推。

4. 哪些变量该控制

变量角色是否通常控制原因
同时影响 DDYY 的处理前混淆变量关闭后门路径
只预测 YY 的处理前变量可选常提高精度
处理后的中介变量否,若目标是总效应会截断部分效应
DD 与未观测因素共同造成的碰撞点条件化会打开伪路径
与研究人群几乎无重叠的变量组合不能靠回归解决系数来自函数形式外推

例如评估培训对工资的总效应时,培训后取得的证书可能是机制,不应作为普通“控制变量”放入主回归。

5. 可运行案例:能力遗漏与 FWL

代码生成一个真实教育效应为 1.5 的世界。能力同时影响教育与工资;研究者先看朴素回归,再加入能力,并用 FWL 复核。

Py

Python:遗漏变量偏误、稳健标准误与 FWL

Idle

这里“加入能力后接近真值”是因为模拟中能力被完整测量且模型设定正确。真实数据里的测量误差、未观测动机和学校选择仍可能存在。

6. 推断与报告

最少报告:

  • 系数、稳健或聚类标准误、95% 置信区间;
  • YYDD 的单位和变换;
  • 样本量、缺失值处理与控制变量选择依据;
  • 处理分配层级与误差相关层级;
  • 经济量级,例如增加一年教育对应工资百分比变化,而不只给 pp 值。

异方差稳健标准误修正的是方差估计,不会修复遗漏变量、反向因果或测量误差。

7. 快速诊断

  1. 支持集: 处理组和比较组在 XX 上是否重叠?
  2. 函数形式: 连续变量是否需要非线性或分段关系?
  3. 影响点: 结论是否由少数极端观测驱动?
  4. 标准误: 处理是否按学校、企业或地区分配?
  5. 控制顺序: 控制是否在处理前测量?
  6. 敏感性: 未观测混淆需要多强才能解释结果?

常见误区

  • 把高 R2R^2 当作因果可信度;
  • 逐步回归后只保留显著控制变量;
  • 控制处理后结果,仍把系数称为总效应;
  • 对数因变量的系数直接说成精确百分比,忽略近似条件;
  • 只换标准误,不重新审查识别设计。

课堂任务

为“远程办公对生产率的影响”列出:

  1. 两个处理前混淆变量;
  2. 一个可能的坏控制;
  3. 一个需要聚类的层级;
  4. 一个能暴露函数形式问题的图;
  5. 一句话说明 OLS 系数在什么假设下才是因果效应。

核心阅读

上一章:因果推断导论|下一章:工具变量法

Copyright © 2026