Lec 5 统计推断基本概念与假设检验（Basic Concepts of Inference）

MIT 15.075J / ESD.07J · Statistical Thinking and Data Analysis · Fall 2011 授课教师：Prof. Cynthia Rudin 资料来源：MIT OpenCourseWare Chapter 6 Notes

TL;DR

• 统计推断旨在利用充满随机扰动的样本数据反推总体规律；评估点估计量品质的核心度量是均方误差（MSE），并严格分解为偏差的平方与方差之和（$\operatorname{MSE}(\hat{\theta}) = \operatorname{Bias}(\hat{\theta})^2 + \operatorname{Var}(\hat{\theta})$）。
• 样本方差无偏性证明在代数上严格证实了除以 $n-1$ 的必要性，填补了用样本均值估计总体均值所产生的期望离差赤字。
• 假设检验本质上遵循反证法与无罪推定哲学：先默认零假设 $H_0$（现状/无效应）成立，仅当样本证据在 $H_0$ 下出现的概率小到“超出合理怀疑边界”（$\alpha$ 显著性水平）时，方可拒绝 $H_0$ 并支持对立假设 $H_1$。
• 严禁说“接受零假设”：未拒绝 $H_0$ 绝不等于证明了 $H_0$ 为真，仅仅意味着当前样本证据不足以推翻它（疑罪从无）。

一、点估计量的评估准则与偏差-方差权衡

统计推断（Statistical Inference）是通过含有随机扰动的有限样本数据，对未知的总体特征或规律作出理性判断的过程。

1. 偏差、方差与有效性

设待估计的未知总体参数为 $\theta$，基于样本数据构造的估计量为统计量 $\hat{\theta}$：

数学推导过程： 在平方项内部巧妙添加并减去估计量的数学期望 $E[\hat{\theta}]$：

$$\begin{aligned} \operatorname{MSE}(\hat{\theta}) &= E\big[ \big( (\hat{\theta} - E[\hat{\theta}]) + (E[\hat{\theta}] - \theta) \big)^2 \big] \\ &= E\big[ (\hat{\theta} - E[\hat{\theta}])^2 \big] + E\big[ (E[\hat{\theta}] - \theta)^2 \big] + 2 E\big[ (\hat{\theta} - E[\hat{\theta}])(E[\hat{\theta}] - \theta) \big] \end{aligned}$$

1. 第一项根据定义即为估计量的方差 $\operatorname{Var}(\hat{\theta})$；
2. 第二项中，$E[\hat{\theta}] - \theta$ 已经是一个非随机的确定常数，因此外层期望不改变其值，直接化简为偏差的平方 $\operatorname{Bias}(\hat{\theta})^2$；
3. 第三项中，将非随机常数项 $(E[\hat{\theta}] - \theta)$ 提取到期望算子外部： $2(E[\hat{\theta}] - \theta) \cdot E[\hat{\theta} - E[\hat{\theta}]] = 2(E[\hat{\theta}] - \theta) \cdot (E[\hat{\theta}] - E[\hat{\theta}]) = 0$ 交叉相消为 0，证毕。

---

二、样本方差为何除以 $n-1$：严格数学证明

在 Lec 3 中我们给出了自由度的直观解释，这里利用估计量的期望展开式进行严密代数推导，证明为什么传统除以 $n$ 的估计量是有偏的。

设 $X_1, X_2, \dots, X_n \overset{\text{i.i.d.}}{\sim} (\mu, \sigma^2)$。考察代数恒等式： $x_i - \bar{x} = (x_i - \mu) - (\bar{x} - \mu)$ 两边平方并对所有 $i=1, \dots, n$ 求和：

$$\begin{aligned} \sum_{i=1}^n (x_i - \bar{x})^2 &= \sum_{i=1}^n \Big( (x_i - \mu) - (\bar{x} - \mu) \Big)^2 \\ &= \sum_{i=1}^n (x_i - \mu)^2 - 2(\bar{x} - \mu)\sum_{i=1}^n (x_i - \mu) + \sum_{i=1}^n (\bar{x} - \mu)^2 \\ &= \sum_{i=1}^n (x_i - \mu)^2 - 2(\bar{x} - \mu) \cdot n(\bar{x} - \mu) + n(\bar{x} - \mu)^2 \\ &= \sum_{i=1}^n (x_i - \mu)^2 - n(\bar{x} - \mu)^2 \end{aligned}$$

两边同时取数学期望： $E\left[\sum_{i=1}^n (x_i - \bar{x})^2\right] = \sum_{i=1}^n E[(x_i - \mu)^2] - n E[(\bar{x} - \mu)^2] = \sum_{i=1}^n \operatorname{Var}(X_i) - n \operatorname{Var}(\bar{X})$

已知 $\operatorname{Var}(X_i) = \sigma^2$，且 $\operatorname{Var}(\bar{X}) = \frac{\sigma^2}{n}$，代入可得： $E\left[\sum_{i=1}^n (x_i - \bar{x})^2\right] = n\sigma^2 - n\left(\frac{\sigma^2}{n}\right) = (n - 1)\sigma^2$

由此结论一目了然：

• 若定义 $s^2_{\text{wrong}} = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2$，则 $E[s^2_{\text{wrong}}] = \frac{n-1}{n}\sigma^2 < \sigma^2$（系统性低估总体方差）；
• 只有定义 $s^2 = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})^2$，方有 $E[s^2] = \sigma^2$（无偏估计）。

---

三、假设检验的认识论与哲学框架

统计假设检验（Hypothesis Testing）不是在两个假设之间做对等的非此即彼的选择，而是通过样本数据检验现有证据是否足以推翻原假设的反证法。

1. 零假设与对立假设的角色分配

• 零假设（Null Hypothesis, $H_0$）： 代表现状、无效果、无差异、或仅仅由随机抽样噪声导致的平凡状态（例如“新疫苗与生理盐水安慰剂效果相同”）。
• 对立假设（Alternative Hypothesis, $H_1$ 或 $H_a$）： 代表研究者试图借助实证数据去证明的新发现、新主张或突破性效果（例如“新疫苗显著降低感染率”）。

2. 司法类比：无罪推定原则

假设检验在逻辑结构上完全等价于现代刑事司法的无罪推定：

• $H_0$：被告人无罪（Presumed Innocent）。
• $H_1$：被告人有罪。
• 司法审判的原则是：公诉方提供的证据能否在排除一切合理怀疑（Beyond a Reasonable Doubt）的前提下定罪？
  • 若证据链确凿闭环：拒绝 $H_0$，判定有罪；
  • 若证据不足：未能拒绝 $H_0$（Fail to Reject $H_0$），疑罪从无释放。这绝不意味着法庭证明了被告人“实际上纯洁无辜”，仅仅说明公诉方手头的证据不足以推翻无罪设定。

---

四、两类决策错误与检验水准

在不确定性环境下做出二元判断，必然面临两类无法同时消除的风险：

真实客观世界 \ 检验决策	未能拒绝 $H_0$（判定无显著差异）	拒绝 $H_0$（判定存在显著效应）
$H_0$ 为真（无真实效果）	✅ 正确决策（置信水平 $1 - \alpha$）	❌ 第一类错误（Type I Error / 假阳性） 概率记为 $\alpha$（显著性水准）
$H_0$ 为假（存在真实效果）	❌ 第二类错误（Type II Error / 假阴性） 概率记为 $\beta$	✅ 正确决策（统计功效 Power $1 - \beta$）

1. 第一类错误（Type I Error, $\alpha$-Risk）

• 定义： 零假设本来为真，检验却错误地拒绝了它（假阳性、冤枉好人）。
• 控制方式： 检验前由研究者主动设定的硬性容忍上限，通常约定为 $\alpha = 0.05$、$0.01$。称此类检验为 $\alpha$-水平显著性检验。

2. 第二类错误（Type II Error, $\beta$-Risk）与统计功效

• 定义： 对立假设本来为真（确实有效），检验却因数据噪声未能将其识别出来（假阴性、放走罪犯）。
• 统计功效（Statistical Power）： $1 - \beta = P(\text{在 } H_1 \text{ 真实成立时成功拒绝 } H_0)$。
• 提升功效的核心途径： 在固定显著性水准 $\alpha$ 的前提下，唯一能够同时压低第二类错误概率 $\beta$ 的手段就是增大样本量 $n$ 或降低测量噪声。

---

五、p 值的统计学与决策真谛

::: insight [p 值不是什么]

1. $p$ 值不是零假设为真的概率： $P(H_0 \mid \text{Data}) \ne p\text{-value}$。在频率学派框架下，$H_0$ 要么真要么假，不存在概率分布。
2. $p$ 值越小，反驳 $H_0$ 的证据越强： 若 $p \le \alpha$，表明在零假设下发生当前样本事件属于小概率奇迹，因此选择否定零假设前提；若 $p > \alpha$，则表明当前观测在随机抽样波动正常容许范围内。 :::