Lec 11非参数统计方法

讲义完成更新于 2026-09-29

后续

当前课程暂无后续已收录内容。

Lec 11 非参数统计方法（Nonparametric Statistical Methods）

MIT 15.075J / ESD.07J · Statistical Thinking and Data Analysis · Fall 2011 授课教师：Prof. Cynthia Rudin 资料来源：MIT OpenCourseWare Chapter 14 Notes

TL;DR

非参数统计（Nonparametric Statistics，又称无分布统计学 Distribution-Free）不依赖于总体属于高斯正态或特定参数族的严苛假定，适用于严重偏态、含有未知分布噪声或极端离群值的数据场景。
**符号检验（Sign Test）**直接考察样本相对于假定中位数 $\tilde{\mu}_0$ 的正负号分布，将连续非参数推断精妙转化为关于参数 $p = 0.5$ 的二项分布单侧/双侧检验。
**Wilcoxon 符号秩检验（Signed-Rank Test）**与 **Wilcoxon 秩和检验（Rank-Sum Test）**引入了次序排序秩次（Ranks），兼顾了差异的方向与相对幅度，其渐近相对效率在正态总体下高达 95.5%，而在重尾偏态母体下则显著超越经典 t 检验。

一、非参数推断的方法论权衡：稳健性 vs 统计功效

经典参数检验（如单样本 t 检验、双样本 t 检验及 ANOVA）建立在严格的分布假定之上（正态母体、方差齐性）。

然而在互联网点击流、消费者财富分布、服务器故障间隔时间以及医疗成本统计等现实业务中：

数据分布往往呈现极其强烈的右偏（Pareto 幂律分布）或多峰重尾；
即使样本量较大，离群点仍可能剧烈扭曲均值和样本方差。

非参数统计方法应运而生：

                     参数统计 vs 非参数统计
                              │
         ┌────────────────────┴────────────────────┐
         ▼                                         ▼
    【经典参数统计】                           【非参数稳健统计】
  (Parametric Methods)                     (Nonparametric Methods)
         │                                         │
   强假设 (如总体严格正态)                   无分布假定 (Distribution-Free)
   关注参数中枢: 均值 μ                      关注位置中枢: 中位数 μ̃ 或秩次
   若假设满足: 功效最高                      对偏态与极端离群点天生免疫
   若假设破产: 结果严重失真                  大样本渐近相对效率极高

[非参数方法的代价：样本规模补偿]

天下没有免费的午餐。由于非参数方法主动放弃了总体分布的参数代数先验，为了在同等显著性水平下达到与正确假定的参数模型相同的统计功效（检测出相同微小差异），非参数检验通常需要招募稍多的样本量（通常需增加 5% 到 20% 的样本量）。但当母体分布未知或被污染时，这种稳健性保障的收益远超微小的样本成本。

二、符号检验（Sign Test）：以二项分布解构中位数

设从任意未知的连续总体中随机抽取样本 $x_1, x_2, \dots, x_n$ ，总体真实中位数记为 $\tilde{\mu}$ 。

我们要检验该总体中位数是否超过某一基准阈值 $\tilde{\mu}_0$ （例如检验某城市家庭年收入中位数是否超过 25 万元）：

\begin{cases} H_0: \tilde{\mu} = \tilde{\mu}_0 \\ H_1: \tilde{\mu} > \tilde{\mu}_0 \end{cases}

1. 检验统计量的构造机制

第一步（符号转化）： 对每一个样本观测值 $x_i$ $x_{i}$ ，将其与假设中位数 $\tilde{\mu}_0$ $\tilde{μ}_{0}$ 比较：
- 若 $x_i > \tilde{\mu}_0$ ，记为正号（ $+$ ）；
- 若 $x_i < \tilde{\mu}_0$ ，记为负号（ $-$ ）；
- 若恰好 $x_i = \tilde{\mu}_0$ ，在连续分布下概率测度为 0，实际操作中将其直接剔除，并相应缩减有效样本量 $n$ 。
第二步（计数聚合）： 统计大于假定中位数的样本个数 $S^+$ ，以及小于假定中位数的个数 $S^-$ （显然 $S^+ + S^- = n$ ）。

2. 零假设下的精确二项抽样分布

根据中位数的严格数学定义，总体中落在中位数左侧与右侧的概率测度必须各占一半： $P(X_i > \tilde{\mu}) = 0.5, \quad P(X_i < \tilde{\mu}) = 0.5$

因此，在零假设 $H_0: \tilde{\mu} = \tilde{\mu}_0$ 成立的前提下，每一个样本是否大于 $\tilde{\mu}_0$ 等价于一次独立的、成功概率为 $p = 0.5$ 的伯努利硬币投掷： $S^+ \sim \operatorname{Bin}(n, 0.5)$

3. 拒绝域与 p 值精确计算

对于右单侧备择假设 $H_1: \tilde{\mu} > \tilde{\mu}_0$ ，正号个数 $S^+$ 越大越支持对立假设。当实际观测到的正号个数为 $s^+$ 时，精确单侧 $p$ 值定义为： $p\text{-value} = P(S^+ \ge s^+ \mid H_0) = \sum_{k=s^+}^n \binom{n}{k} \left(\frac{1}{2}\right)^n$

若 $p \le \alpha$ ，则拒绝 $H_0$ ，断定中位数显著高于 $\tilde{\mu}_0$ 。

[智能汽车续航里程满意度符号检验]

某电动车厂商声称其某批次电池在严寒环境下的续航里程中位数不低于 $\tilde{\mu}_0 = 300\text{ km}$ 。质检机构随机测试了 $n = 16$ 辆实车，测得其中仅有 $s^+ = 3$ 辆超过 300 km，其余 13 辆全部低于 300 km。检验假设： $H_0: \tilde{\mu} = 300$ vs $H_1: \tilde{\mu} < 300$ 。在零假设下， $S^+ \sim \operatorname{Bin}(16, 0.5)$ 。计算左单侧 $p$ 值： $p = P(S^+ \le 3) = \sum_{k=0}^3 \binom{16}{k} (0.5)^{16} = \frac{1 + 16 + 120 + 560}{65536} = \frac{697}{65536} \approx 0.0106$ 在常规 $\alpha = 0.05$ 显著性水准下， $p \approx 0.0106 < 0.05$ ，坚决拒绝厂商的零假设，认定电池在严寒下续航中位数显著缩水。

三、Wilcoxon 秩和检验（Rank-Sum Test）与 Wilcoxon 符号秩检验

符号检验虽然简单直观，但它完全抛弃了离差的幅度大小信息（无论是比中位数大 0.01 还是大 10000，都只记录为一个 $+$ 号），造成了一定的信息利用率损失。弗兰克·威尔科克森（Frank Wilcoxon）引入了**秩次（Ranks）**的概念，兼顾符号与相对距离。

1. Wilcoxon 符号秩检验（成对匹配设计的非参数替代）

用于成对匹配设计（Matched Pairs），对差值序列 $D_i = X_i - Y_i$ 进行非参数对称中位数推断：

剔除所有 $D_i = 0$ 的无差异点；
对绝对差值 $|D_i|$ 按从小到大排序，赋予秩次 $1, 2, \dots, n$ （若数值并列取平均秩）；
将原始差值的正负号附着回对应秩次，分别计算正秩次和 $W^+$ 与负秩次和 $W^-$ ；
统计量 $W^+$ 包含了幅度与方向的双重信息，在对称连续分布假设下具备极高的功效。

2. Wilcoxon 秩和检验 / Mann-Whitney U 检验（独立双样本替代）

用于独立双样本比较，替代独立样本 t 检验：

将两组样本（容量分别为 $n_1, n_2$ ）混合在一起，统一升序排序，赋予全局统一秩次 $1, 2, \dots, n_1 + n_2$ ；
汇总第 1 组样本所分得的全部秩次之和 $W_1$ ；
若两总体位置分布相同，第 1 组的平均秩次与第 2 组的平均秩次应大致接近；若两组发生系统性偏移，秩和 $W_1$ 将发生极端偏移。在大样本下 $W_1$ 迅速逼近高斯分布，可轻松执行 z 检验。

[Wilcoxon 检验的渐近相对效率（ARE）]

在总体严格服从高斯分布的最差假定下，Wilcoxon 检验相对于经典最佳 t 检验的渐近相对效率（Asymptotic Relative Efficiency）高达 $95.5\%$ （仅损失极少功效）；而在重尾分布（如拉普拉斯分布、柯西分布）或存在恶性离群点时，Wilcoxon 检验的效率可远超 t 检验（效率甚至超过 150%）。这使得基于秩次的非参数检验成为现代工业界最稳健的日常标配。