Lec 2数据收集与抽样策略

讲义完成更新于 2026-09-29

Lec 2 数据收集与抽样策略（Collecting Data）

MIT 15.075J / ESD.07J · Statistical Thinking and Data Analysis · Fall 2011 授课教师：Prof. Cynthia Rudin 资料来源：MIT OpenCourseWare Chapter 3 Notes

TL;DR

统计推断的第一准则是严格区分总体参数（Parameter）与样本统计量（Statistic）；总体特征未知且不可直接算得，只能借由样本统计量进行无偏估计。
**抽样框（Sampling Frame）**缺失与自选择偏差是绝大多数调查失败的根源；代表性样本的充要条件是在关键混杂特征上与目标总体保持同质分布。
随机化抽样是规避系统性偏差的唯一科学手段：小规模均质总体首选简单随机抽样（SRS）；包含异质子群时采用分层抽样（Stratified Sampling）；跨越广域地理层级时采用多阶段整群抽样（Multistage Cluster Sampling）。
流水线工业质量监测适合采用 1-in-k 系统抽样，但必须防范周期性排程引发的谐波采样共振。

一、统计学的核心界限：总体 vs 样本

数据科学与应用统计中，许多重大分析失误并非源于复杂的数学推导错误，而是混淆了“总体”与“样本”的概念边界。

[总体参数与样本统计量]

总体（Population）： 研究者试图获取信息的全部对象、个体或观测单元（Units）的完备集合。
总体参数（Parameter）： 刻画总体本质数值特征的固定常量（例如全美真实失业率 $\mu$ 或总体方差 $\sigma^2$ ）。在现实中，除了极少数全量普查外，总体参数是客观存在但绝对未知的。
样本（Sample）： 从总体中实际抽取并观测到的一个子集，样本量记为 $n$ 。
样本统计量（Statistic）： 仅由样本观测数据计算出的数值函数（例如样本均值 $\bar{x} = \frac{1}{n}\sum x_i$ 或样本方差 $s^2$ ）。统计量是随机变量的实现值，可直接计算，用于估计未知的总体参数。 :::

严禁在只有样本数据时试图直接计算总体参数！如果手头仅有 $n$ 个采样点，你永远无法“计算”出真实的总体参数 $\mu$ 或 $\sigma^2$ ；你所能做的仅仅是计算样本统计量 $\bar{x}$ 和 $s^2$ ，并借助抽样分布建立对未知的 $\mu$ 和 $\sigma^2$ 的置信区间与假设检验。

二、抽样框与代表性偏差

1. 抽样框与非代表性样本

[抽样框（Sampling Frame）]

有限总体中所有单元的实际物理清单或登记册。

在工程与商业实践中，绝大多数总体并不存在完备的抽样框。例如：

试图研究“全国智能手机用户的电池使用习惯”，但并不存在一份包含全国所有手机用户的公开花名册。
当缺乏完整抽样框时，研究者被迫退而求其次设计抽样触达路径，此时极易引入系统性偏差。

[代表性样本（Representative Sample）]

若一个样本在与研究目标相关的重要维度与系统特征上，其分布与目标总体没有系统性偏离，则称该样本为代表性样本。

2. 常见伪科学抽样及其危害

现实中最容易获取的样本往往偏差最大：

便利抽样（Convenience Sampling）： 仅选取研究者最容易接触到的对象（例如在大学校园门口拦截路人做消费调研，或者网站弹窗让路过访客随手打分）。
判断抽样（Judgment Sampling）： 由所谓“资深调查员”主观挑选其认为“典型”的样本单元，或采用定额配额抽样（Quota Sampling）。

[主观抽样偏差定理]

任何依赖便利性或人工主观判断选取的样本，均无法计算其抽样误差边界，且几乎必然存在无法消除的自选择偏差（Self-Selection Bias）与生存偏差（Survivorship Bias）。避免系统性偏差的唯一科学手段是引入可量化概率的随机化机制。

三、经典概率抽样方案与工程实现

为了科学地代表总体，统计学发展出四种经典随机抽样设计：

                      ┌────────────────────────┐
                      │    总体数据采集方案    │
                      └───────────┬────────────┘
                                  │
         ┌────────────────────────┼────────────────────────┐
         │                        │                        │
         ▼                        ▼                        ▼
 ┌───────────────┐        ┌───────────────┐        ┌───────────────┐
 │ 简单随机抽样  │        │   分层抽样    │        │ 多阶段整群抽样│
 │  (SRS)        │        │ (Stratified)  │        │   (Cluster)   │
 └───────┬───────┘        └───────┬───────┘        └───────┬───────┘
         │                        │                        │
  等概率无放回             群内同质、群间异质        群内异质、群间同质
  适合均质小总体           确保稀缺子群覆盖          适合跨广域大地理

1. 简单随机抽样（Simple Random Sample, SRS）

[简单随机抽样（SRS）]

从容量为 $N$ 的有限总体中无放回地抽取容量为 $n$ 的样本，使得每一种可能的样本组合被抽中的概率完全相等，均为： $P(\text{Sample}) = \frac{1}{\binom{N}{n}} = \frac{n!(N-n)!}{N!}$

优势： 数学性质极佳，是所有初等统计推断的标准基准假定。
局限： 当总体极其庞大或异质性极高时，物理实施成本极高；对于发生率极低的特殊群体，SRS 抽出的样本量往往过小，无法支持子群分析。

2. 分层随机抽样（Stratified Random Sampling）

[分层随机抽样]

首先依据一个或多个辅助分类变量，将总体划分为若干互不重叠且内部高度同质的子总体（称为“层”，Strata）；随后在每一个层内独立开展简单随机抽样（SRS），最终汇总为全样本。

设计逻辑： “层内同质，层间异质”。
适用场景：
- 研究者不仅关注全总体的统计量，还需要对关键子群进行高精度对比分析。
- 存在规模较小但至关重要的稀缺群体（例如在消费者调研中，按种族或极端高净值资产分层，防止高价值客群在纯随机抽样中因概率被“稀释遗漏”）。
效率优势： 由于消除了层间方差，分层抽样估计总体均值的方差通常显著小于同等样本量下的简单随机抽样。

3. 多阶段整群抽样（Multistage Cluster Sampling）

[多阶段整群抽样]

将总体自上而下组织为树状层级结构，各个层级的基本单元不同。在每一阶段抽取上一级集群（Cluster），直至最后一阶段抽取具体观测个体。

典型案例：
1. 第一阶段：从全国各州/省份中简单随机抽取若干省份；
2. 第二阶段：从被抽中的省份中随机抽取若干县/城市；
3. 第三阶段：从被抽中的县/城市中随机抽取家庭户或个人。
设计逻辑： “群间同质，群内异质”。
工程价值： 极大地节约了实地调研与派驻访员的差旅与组织管理成本，是人口普查、流行病学调查与全国性社会调查的标准骨干方案。

4. 1-in-k 系统抽样（Systematic Sampling）

[1-in-k 系统抽样]

将总体单元按照某种顺序排列，随机选择一个起点 $r \in \{1, 2, \dots, k\}$ ，随后每隔 $k$ 个单元抽取一个样本（即抽取编号为 $r, r+k, r+2k, \dots$ 的单元）。其中 $k \approx N/n$ 为抽样间隔。

工业应用： 在制造业流水线、高速输送带或服务器日志实时流式监控中极易通过自动化脚本落地执行。
潜在陷阱： 若生产流水线存在隐蔽的周期性缺陷（例如机械臂每旋转 10 次发生一次微小颤抖，而抽样间隔刚好设为 $k=10$ ），系统抽样将发生谐波共振，导致抽取到的样本要么全部是次品，要么全部是良品，造成致命的系统性失真。

四、数据收集中的混杂因素与因果推断

在完成抽样后，数据收集的组织方式直接决定了分析结论的因果解释力。

::: insight [观测研究与随机对照试验的分水岭]

观测研究（Observational Study）： 研究者仅记录现实中发生的数据，不主动施加任何外部干预。观测研究只能确立相关性（Association），绝不能草率得出因果性（Causation）。因为现实中往往隐藏着未被度量的混杂变量（Confounding / Lurking Variables）。
随机对照试验（Randomized Controlled Trial, RCT）： 研究者主动将受试对象随机分配至试验组（Treatment）与对照组（Control）。随机化打断了混杂变量与干预状态之间的所有关联，是现代临床医药审批、科技公司 A/B 测试确立因果效应的黄金标准。 :::

辛普森悖论（Simpson's Paradox）的本质

当把来自不同子群的数据简单粗暴地合并求平均时，若群组大小不均且存在关键的混杂潜变量，宏观聚合数据所展现的趋势可能与微观每个子群内的真实趋势完全相反。这凸显了在数据收集阶段必须精准记录辅助分层变量，严禁脱离上下文进行黑盒数据合并。