Learnalog
计量经济学

第二章：OLS、矩阵与几何解释

推导普通最小二乘、解释 FWL 定理并分析函数形式与遗漏变量偏误。

第二章：OLS、矩阵与几何解释

1. 线性回归模型

写成矩阵形式：

Y=Xβ+u,Y=X\beta+u,

其中 YY 是 n×1n\times1 向量，XX 是包含常数项的 n×Kn\times K 设计矩阵，β\beta 是参数，uu 是误差。OLS 选择 bb 使残差平方和最小：

β^=arg⁡min⁡b(Y−Xb)′(Y−Xb).\hat\beta=\arg\min_b(Y-Xb)'(Y-Xb).

一阶条件为 X′(Y−Xβ^)=0X'(Y-X\hat\beta)=0，如果 X′XX'X 可逆，则：

β^=(X′X)−1X′Y.\hat\beta=(X'X)^{-1}X'Y.

学习目标

  • 从最小化问题推导正规方程和 OLS 估计量；
  • 用投影矩阵解释拟合值与残差；
  • 使用 FWL 定理理解多元回归系数；
  • 推导遗漏变量偏误的方向和条件；
  • 理解函数形式、交互项和对数模型的解释。

2. 几何解释

拟合值 Y^=Xβ^\hat Y=X\hat\beta 是 YY 在 XX 的列空间上的正交投影，残差 u^=Y−Y^\hat u=Y-\hat Y 与 XX 的每一列正交：

X′u^=0.X'\hat u=0.

投影矩阵为：

PX=X(X′X)−1X′,MX=I−PX,P_X=X(X'X)^{-1}X', \qquad M_X=I-P_X,

因此 Y^=PXY\hat Y=P_XY、u^=MXY\hat u=M_XY。矩阵语言揭示了 OLS 的两个重要事实：它是一个线性投影，且残差与所有回归解释变量正交。但正交不等于因果独立。

3. FWL 定理与控制变量

考虑：

Y=τD+Xγ+u.Y=\tau D+X\gamma+u.

先把 DD 对 XX 回归，得到残差 D~=MXD\tilde D=M_XD；再把 YY 对 XX 残差化，得到 Y~=MXY\tilde Y=M_XY。FWL 定理说明：

τ^=D~′Y~D~′D~.\hat\tau=\frac{\tilde D'\tilde Y}{\tilde D'\tilde D}.

所以多元回归中的 DD 系数来自：在剔除 XX 可解释部分之后，DD 的剩余变异与 YY 的剩余变异之间的线性关系。

这解释了为什么控制变量选择重要：控制变量改变了比较所使用的变异，也可能打开新的偏误路径。控制变量不是“越多越科学”。

4. 遗漏变量偏误

真实模型为：

Y=β1D+β2Z+u,Y=\beta_1D+\beta_2Z+u,

但研究者只回归 YY 对 DD。在简单线性情形下，短回归系数近似为：

β~1=β1+β2Cov⁡(D,Z)Var⁡(D).\tilde\beta_1=\beta_1+\beta_2\frac{\operatorname{Cov}(D,Z)}{\operatorname{Var}(D)}.

偏误方向由两条路径共同决定：ZZ 对 YY 的作用，以及 DD 与 ZZ 的相关。只有知道两者方向，才可以判断高估还是低估。

教育—工资例子

若能力提高工资且能力更高者教育更多，则省略能力通常使教育回报被高估；若教育更多的人来自不利背景而背景降低工资，偏误方向可能相反。实际研究不能只凭直觉说“能力偏误一定向上”，要画出因果图或写出协方差路径。

5. 函数形式

形式模型主要解释
水平—水平Y=β0+β1X+uY=\beta_0+\beta_1X+uXX 增加一单位，YY 变化 β1\beta_1 单位
对数—水平log⁡Y=β0+β1X+u\log Y=\beta_0+\beta_1X+uXX 增加一单位，YY 约变化 100β1%100\beta_1\%
水平—对数Y=β0+β1log⁡X+uY=\beta_0+\beta_1\log X+uXX 增加 1%，YY 约变化 β1/100\beta_1/100 单位
对数—对数log⁡Y=β0+β1log⁡X+u\log Y=\beta_0+\beta_1\log X+uβ1\beta_1 是弹性

对数形式改变了参数含义，也会改变误差结构和样本处理。不能为了让 R2R^2 更高而机械取对数。

6. 交互项与异质性

若教育回报因性别或地区不同，可以写：

Y=β0+β1education+β2female+β3(education×female)+u.Y=\beta_0+\beta_1 education+\beta_2 female +\beta_3(education\times female)+u.

男性的教育斜率是 β1\beta_1，女性的教育斜率是 β1+β3\beta_1+\beta_3。含交互项时，不能把 β3\beta_3 单独称为“女性效应”；要在有意义的教育水平上计算边际效应。

研究生扩展

  • 投影定理与最佳线性预测；
  • Frisch–Waugh–Lovell 在高维控制和固定效应中的应用；
  • partialling-out 与双重机器学习；
  • 高杠杆点、影响函数和稳健回归；
  • 规格搜索、多重检验和预先注册。

自测题

  1. 为什么 OLS 残差与解释变量正交不能证明外生性？
  2. 用 FWL 定理解释控制家庭背景后的教育系数变化。
  3. 遗漏变量偏误何时为零？
  4. 对数—对数模型中系数如何解释？
  5. 交互项存在时，如何计算某一组的边际效应？

下一章

OLS 给出点估计，但研究者还必须说明估计的不确定性。下一章讨论 t/F 检验、异方差、聚类和 bootstrap。

Edit this pageorReport an issue

第一章：数据、概率与回归对象

从样本、总体、条件期望和线性投影开始建立计量经济学语言。

第三章：统计推断与稳健标准误

从抽样分布、t/F 检验到异方差、聚类和 bootstrap 推断。

Copyright © 2026