Archipelago

Lec 9一元线性回归与相关性

讲义完成更新于 2026-09-29
承接Lec 8 · 比例与计数数据推断
后续Lec 10 · 多元线性回归与模型诊断

Lec 9 一元线性回归与相关性（Simple Linear Regression and Correlation）

MIT 15.075J / ESD.07J · Statistical Thinking and Data Analysis · Fall 2011 授课教师：Prof. Cynthia Rudin 资料来源：MIT OpenCourseWare Chapter 10 Notes

TL;DR

  • 一元线性回归模型 Yi=β0+β1xi+ϵiY_i = \beta_0 + \beta_1 x_i + \epsilon_i 将观测响应变量分解为确定性线性信号与均值为零、方差恒定的独立高斯白噪声。
  • 普通最小二乘法（OLS）通过极小化残差平方和 Q=∑(yi−y^i)2Q = \sum (y_i - \hat{y}_i)^2，导出斜率参数解析解 β^1=SxySxx=rSySx\hat{\beta}_1 = \frac{S_{xy}}{S_{xx}} = r \frac{S_y}{S_x}，数学上直接体现为皮尔逊相关系数经尺度缩放后的投影。
  • 方差分析（ANOVA）恒等式 SST⁡=SSR⁡+SSE⁡\operatorname{SST} = \operatorname{SSR} + \operatorname{SSE} 严密分解了总体变异度；判定系数 R2=SSR⁡SST⁡=r2R^2 = \frac{\operatorname{SSR}}{\operatorname{SST}} = r^2 量化了响应变量总变异中可被自变量线性解释的比例。

一、经典一元线性回归模型与高斯-马尔可夫假定

回归分析（Regression Analysis）旨在量化一个连续响应变量（因变量 YY）如何伴随一个或多个预测变量（自变量 XX）的变动而发生系统性条件期望迁移。

设研究者给定了一组自变量的固定水平设置 x1,x2,…,xnx_1, x_2, \dots, x_n（在经典回归中视为确定性常量，非随机变量），并观测到对应的随机响应变量 Y1,Y2,…,YnY_1, Y_2, \dots, Y_n： Yi=β0+β1xi+ϵi,i=1,…,nY_i = \beta_0 + \beta_1 x_i + \epsilon_i, \quad i = 1, \dots, n

[经典正态回归假定（Classical Normal Regression Assumptions）]

误差项 ϵ1,ϵ2,…,ϵn\epsilon_1, \epsilon_2, \dots, \epsilon_n 满足以下四个核心假设：

  1. 零均值假定： E[ϵi]=0E[\epsilon_i] = 0，保证条件期望满足线性形式 E[Yi∣xi]=β0+β1xiE[Y_i \mid x_i] = \beta_0 + \beta_1 x_i；
  2. 同方差假定（Homoscedasticity）： 对所有 ii，误差方差恒定 Var⁡(ϵi)=σ2\operatorname{Var}(\epsilon_i) = \sigma^2；
  3. 无自相关假定（Uncorrelated）： 当 i≠ji \ne j 时，Cov⁡(ϵi,ϵj)=0\operatorname{Cov}(\epsilon_i, \epsilon_j) = 0；
  4. 正态性假定： ϵi∼i.i.d.N(0,σ2)  ⟹  Yi∼N(β0+β1xi,σ2)\epsilon_i \overset{\text{i.i.d.}}{\sim} \mathcal{N}(0, \sigma^2) \implies Y_i \sim \mathcal{N}(\beta_0 + \beta_1 x_i, \sigma^2)。 :::

二、普通最小二乘估计（OLS）的严密代数推导

为了在二维平面上寻找一条“拟合最优”的直线，高斯与勒让德提出了普通最小二乘准则（Ordinary Least Squares, OLS）：寻找参数估计值 (β^0,β^1)(\hat{\beta}_0, \hat{\beta}_1)，使得样本实际观测值 yiy_i 与模型拟合线 y^i=β^0+β^1xi\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i 之间的垂直残差平方和达到全局最小。

目标函数定义为二次损失函数： Q(β0,β1)=∑i=1nei2=∑i=1n(yi−(β0+β1xi))2Q(\beta_0, \beta_1) = \sum_{i=1}^n e_i^2 = \sum_{i=1}^n \big(y_i - (\beta_0 + \beta_1 x_i)\big)^2

1. 一阶极值条件（Normal Equations）

对目标函数分别关于 β0\beta_0 和 β1\beta_1 求偏导数，并令其等于 0：

∂Q∂β0=−2∑i=1n(yi−(β^0+β^1xi))=0  ⟹  ∑i=1nyi=nβ^0+β^1∑i=1nxi∂Q∂β1=−2∑i=1nxi(yi−(β^0+β^1xi))=0  ⟹  ∑i=1nxiyi=β^0∑i=1nxi+β^1∑i=1nxi2\begin{aligned} \frac{\partial Q}{\partial \beta_0} &= -2\sum_{i=1}^n \big(y_i - (\hat{\beta}_0 + \hat{\beta}_1 x_i)\big) = 0 \quad \implies \quad \sum_{i=1}^n y_i = n\hat{\beta}_0 + \hat{\beta}_1\sum_{i=1}^n x_i \\ \frac{\partial Q}{\partial \beta_1} &= -2\sum_{i=1}^n x_i \big(y_i - (\hat{\beta}_0 + \hat{\beta}_1 x_i)\big) = 0 \quad \implies \quad \sum_{i=1}^n x_i y_i = \hat{\beta}_0\sum_{i=1}^n x_i + \hat{\beta}_1\sum_{i=1}^n x_i^2 \end{aligned}

2. 闭式解的推导与均值穿透性

由第一个正规方程两边除以 nn： yˉ=β^0+β^1xˉ  ⟹  β^0=yˉ−β^1xˉ\bar{y} = \hat{\beta}_0 + \hat{\beta}_1 \bar{x} \implies \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}

最小二乘回归直线必然无条件穿过样本质心点 (xˉ,yˉ)(\bar{x}, \bar{y})。

将 β^0\hat{\beta}_0 代入第二个正规方程消元整理：

∑i=1nxiyi=(yˉ−β^1xˉ)∑i=1nxi+β^1∑i=1nxi2=nxˉyˉ−β^1nxˉ2+β^1∑i=1nxi2∑i=1nxiyi−nxˉyˉ=β^1(∑i=1nxi2−nxˉ2)\begin{aligned} \sum_{i=1}^n x_i y_i &= (\bar{y} - \hat{\beta}_1 \bar{x})\sum_{i=1}^n x_i + \hat{\beta}_1\sum_{i=1}^n x_i^2 = n\bar{x}\bar{y} - \hat{\beta}_1 n\bar{x}^2 + \hat{\beta}_1\sum_{i=1}^n x_i^2 \\ \sum_{i=1}^n x_i y_i - n\bar{x}\bar{y} &= \hat{\beta}_1 \left(\sum_{i=1}^n x_i^2 - n\bar{x}^2\right) \end{aligned}

引入经典离差平方和记号： Sxx:=∑i=1n(xi−xˉ)2=∑i=1nxi2−nxˉ2S_{xx} := \sum_{i=1}^n (x_i - \bar{x})^2 = \sum_{i=1}^n x_i^2 - n\bar{x}^2 Sxy:=∑i=1n(xi−xˉ)(yi−yˉ)=∑i=1nxiyi−nxˉyˉS_{xy} := \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) = \sum_{i=1}^n x_i y_i - n\bar{x}\bar{y}

由此推导出斜率参数的经典解析解： β^1=SxySxx=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2=rSySx\hat{\beta}_1 = \frac{S_{xy}}{S_{xx}} = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2} = r \frac{S_y}{S_x} 其中 r=SxySxxSyyr = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} 是皮尔逊样本相关系数，Sx,SyS_x, S_y 分别为各自的样本标准差。

将斜率代入回归方程，可写成高度对称的标准化 z 形式： y^−yˉSy=rx−xˉSx\frac{\hat{y} - \bar{y}}{S_y} = r \frac{x - \bar{x}}{S_x}

三、变异度分解定理与判定系数 R2R^2

为了量化模型对现实数据的解释能力，统计学将因变量的整体变异进行正交分解。

[ANOVA 平方和正交分解恒等式]

∑i=1n(yi−yˉ)2=∑i=1n(y^i−yˉ)2+∑i=1n(yi−y^i)2\sum_{i=1}^n (y_i - \bar{y})^2 = \sum_{i=1}^n (\hat{y}_i - \bar{y})^2 + \sum_{i=1}^n (y_i - \hat{y}_i)^2 即： SST⁡=SSR⁡+SSE⁡\operatorname{SST} = \operatorname{SSR} + \operatorname{SSE}

  1. 总平方和（Total Sum of Squares, SST⁡\operatorname{SST}）： 衡量因变量 yiy_i 脱离其样本均值的总波动，自由度为 n−1n - 1；
  2. 回归平方和（Regression Sum of Squares, SSR⁡\operatorname{SSR}）： 衡量模型预测值 y^i\hat{y}_i 脱离均值的变异，即自变量 XX 成功解释的部分，自由度为 11；
  3. 残差平方和（Error Sum of Squares, SSE⁡\operatorname{SSE}）： 衡量真实值与预测线之间的垂直误差距离，即模型无法解释的随机噪声，自由度为 n−2n - 2。

判定系数（Coefficient of Determination, R2R^2）

[判定系数

R2R^2] R2:=SSR⁡SST⁡=1−SSE⁡SST⁡R^2 := \frac{\operatorname{SSR}}{\operatorname{SST}} = 1 - \frac{\operatorname{SSE}}{\operatorname{SST}} 在一元线性回归中，判定系数严格等于样本皮尔逊相关系数的平方：R2=r2R^2 = r^2。

R2∈[0,1]R^2 \in [0, 1] 表达了响应变量 YY 的总方差变异中，被自变量 XX 的线性回归模型所捕获并消除的百分比。

四、回归系数的统计推断与 t 检验

由于样本数据受到随机噪声 ϵi\epsilon_i 的污染，计算出的估计量 β^1\hat{\beta}_1 本身也是一个随机变量。

1. 斜率估计量的抽样分布

将 β^1=∑wiYi\hat{\beta}_1 = \sum w_i Y_i（其中常数权重 wi=xi−xˉSxxw_i = \frac{x_i - \bar{x}}{S_{xx}}）展开：

  1. 期望： E[β^1]=β1E[\hat{\beta}_1] = \beta_1（无偏估计）；
  2. 方差： Var⁡(β^1)=∑i=1nwi2Var⁡(Yi)=σ2∑i=1n(xi−xˉSxx)2=σ2Sxx\operatorname{Var}(\hat{\beta}_1) = \sum_{i=1}^n w_i^2 \operatorname{Var}(Y_i) = \sigma^2 \sum_{i=1}^n \left(\frac{x_i - \bar{x}}{S_{xx}}\right)^2 = \frac{\sigma^2}{S_{xx}}
  3. 未知误差方差 σ2\sigma^2 的无偏估计量为均方误差（Mean Squared Error）： s2=SSE⁡n−2=1n−2∑i=1n(yi−y^i)2s^2 = \frac{\operatorname{SSE}}{n - 2} = \frac{1}{n-2}\sum_{i=1}^n (y_i - \hat{y}_i)^2

2. 斜率显著性 t 检验

检验预测变量 XX 与因变量 YY 之间是否存在统计显著的线性关系：

{H0:β1=0(线性不相关)H1:β1≠0\begin{cases} H_0: \beta_1 = 0 \quad (\text{线性不相关}) \\ H_1: \beta_1 \ne 0 \end{cases}

构建检验统计量： 若计算出的 ∣t∣≥tn−2,α/2|t| \ge t_{n-2, \alpha/2}（或对应 p≤αp \le \alpha），则在 α\alpha 水平下拒绝 H0H_0，断定变量间存在显著的线性依存关系。

[高尔顿“均值回归”的统计本质]

弗朗西斯·高尔顿（Francis Galton）最早研究遗传数据时发现：高个子父母的子女往往比父母矮一点，而矮个子父母的子女往往比父母高一点，他将这一现象命名为“向均值回归”（Regression towards Mediocrity）。 从标准化的回归方程 y^−yˉSy=rx−xˉSx\frac{\hat{y} - \bar{y}}{S_y} = r \frac{x - \bar{x}}{S_x} 可以清晰看出：只要相关系数 ∣r∣<1|r| < 1（现实世界中几乎必然如此），自变量偏离其均值 1 个标准差时，因变量的条件期望仅仅偏离 rr 个标准差（∣r∣<1|r| < 1 产生了收缩效应）。这绝非神秘的生物遗传调控，而是数据受到不相关随机噪声扰动时的纯粹统计几何必然性。