Lec 3 数据探索与特征汇总（Summarizing Numerical Data）
MIT 15.075J / ESD.07J · Statistical Thinking and Data Analysis · Fall 2011
授课教师：Prof. Cynthia Rudin
资料来源：MIT OpenCourseWare Chapter 4 Notes
TL;DR
描述性统计量分为两类：对异常值敏感的代数统计量（均值 x ˉ \bar{x} x ˉ s 2 s^2 s 2
样本方差计算中必须除以自由度 n − 1 n-1 n − 1 x ˉ \bar{x} x ˉ μ \mu μ
辛普森悖论（Simpson's Paradox）揭示了宏观聚合数据可能彻底颠覆微观分层结论的机制，根源在于未受控的潜伏混杂变量及非均衡样本规模。
皮尔逊相关系数 r ∈ [ − 1 , 1 ] r \in [-1, 1] r ∈ [ − 1 , 1 ] 线性关联系数 ，绝不蕴含因果机制，且易受双峰聚类或离群点严重扭曲；分析前必须进行散点图可视化检验。
一、位置与分散度：敏感度 vs 稳健性
在拿到原始样本数据集后，第一步是通过一组精炼的数值特征刻画其位置中枢（Location）与离散程度（Dispersion）。
1. 均值与中位数的鲁棒性对比
[样本均值与中位数]
给定一组观测样本 x 1 , x 2 , … , x n x_1, x_2, \dots, x_n x 1 , x 2 , … , x n
样本均值（Sample Mean）：
x ˉ : = 1 n ∑ i = 1 n x i \bar{x} := \frac{1}{n}\sum_{i=1}^n x_i x ˉ := n 1 ∑ i = 1 n x i 样本中位数（Sample Median）： 将数据按升序重排为次序统计量 x ( 1 ) ≤ x ( 2 ) ≤ ⋯ ≤ x ( n ) x_{(1)} \le x_{(2)} \le \dots \le x_{(n)} x ( 1 ) ≤ x ( 2 ) ≤ ⋯ ≤ x ( n ) x_{\left(\frac{n+1}{2}\right)}, & n \text{ 为奇数} \\
\frac{1}{2}\left[x_{\left(\frac{n}{2}\right)} + x_{\left(\frac{n}{2} + 1\right)}\right], & n \text{ 为偶数}
\end{cases}$$
[异常点对统计量的击穿效应]
考虑序列 A = { 1 , 2 , 3 , 4 , 5 } A = \{1, 2, 3, 4, 5\} A = { 1 , 2 , 3 , 4 , 5 } B = { 1 , 2 , 3 , 4 , 500 } B = \{1, 2, 3, 4, 500\} B = { 1 , 2 , 3 , 4 , 500 }
序列 A A A x ˉ = 3 \bar{x} = 3 x ˉ = 3 x ~ = 3 \tilde{x} = 3 x ~ = 3
序列 B B B x ˉ = 102 \bar{x} = 102 x ˉ = 102 x ~ = 3 \tilde{x} = 3 x ~ = 3 50 % 50\% 50%
2. 五数概括与四分位距（IQR） 为了全面展现数据的分位数结构，统计学采用五数概括（Five-Number Summary） ：
{ x min , Q 1 , Q 2 , Q 3 , x max } \{x_{\min}, Q_1, Q_2, Q_3, x_{\max}\} { x m i n , Q 1 , Q 2 , Q 3 , x m a x } Q 1 Q_1 Q 1 θ 0.25 \theta_{0.25} θ 0.25 Q 2 Q_2 Q 2 θ 0.5 \theta_{0.5} θ 0.5 Q 3 Q_3 Q 3 θ 0.75 \theta_{0.75} θ 0.75
全距（Range）： x max − x min x_{\max} - x_{\min} x m a x − x m i n 四分位距（Interquartile Range, IQR）：
IQR : = Q 3 − Q 1 \operatorname{IQR} := Q_3 - Q_1 IQR := Q 3 − Q 1 50 % 50\% 50% [ Q 1 − 1.5 IQR , Q 3 + 1.5 IQR ] [Q_1 - 1.5\operatorname{IQR}, Q_3 + 1.5\operatorname{IQR}] [ Q 1 − 1.5 IQR , Q 3 + 1.5 IQR ] 3. 样本方差与自由度修正（Bessel's Correction） 样本方差 s 2 s^2 s 2 s s s s 2 : = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 , s = s 2 s^2 := \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})^2, \quad s = \sqrt{s^2} s 2 := n − 1 1 ∑ i = 1 n ( x i − x ˉ ) 2 , s = s 2
[自由度损失原理]
在计算平方离差和时，由于样本均值满足硬性约束 ∑ i = 1 n ( x i − x ˉ ) ≡ 0 \sum_{i=1}^n (x_i - \bar{x}) \equiv 0 ∑ i = 1 n ( x i − x ˉ ) ≡ 0 n − 1 n-1 n − 1 n − 1 n-1 n − 1 n n n σ 2 \sigma^2 σ 2 n − 1 n-1 n − 1 E [ s 2 ] = σ 2 E[s^2] = \sigma^2 E [ s 2 ] = σ 2
变异系数（Coefficient of Variation, CV）： CV = s x ˉ \operatorname{CV} = \frac{s}{\bar{x}} CV = x ˉ s 标准分（z-score）： z i = x i − x ˉ s z_i = \frac{x_i - \bar{x}}{s} z i = s x i − x ˉ
二、双变量关联：相关性与辛普森悖论
1. 皮尔逊样本相关系数
[样本皮尔逊相关系数（Pearson Correlation）]
衡量两组连续变量 X X X Y Y Y r : = S x y S x S y = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 1 n − 1 ∑ i = 1 n ( y i − y ˉ ) 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ S x ) ( y i − y ˉ S y ) r := \frac{S_{xy}}{S_x S_y} = \frac{\frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})^2} \sqrt{\frac{1}{n-1}\sum_{i=1}^n (y_i - \bar{y})^2}} = \frac{1}{n-1}\sum_{i=1}^n \left(\frac{x_i - \bar{x}}{S_x}\right)\left(\frac{y_i - \bar{y}}{S_y}\right) r := S x S y S x y = n − 1 1 ∑ i = 1 n ( x i − x ˉ ) 2 n − 1 1 ∑ i = 1 n ( y i − y ˉ ) 2 n − 1 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) = n − 1 1 ∑ i = 1 n ( S x x i − x ˉ ) ( S y y i − y ˉ )
数学性质：
r ∈ [ − 1 , 1 ] r \in [-1, 1] r ∈ [ − 1 , 1 ] ± 1 \pm 1 ± 1 符号表示斜率方向（正相关 vs 负相关）。
r r r a X + b , c Y + d aX+b, cY+d a X + b , c Y + d a c > 0 ac>0 a c > 0
[相关性陷阱：非线性、离群值与因果谬误]
零相关不等于无关系： 若 Y = X 2 Y = X^2 Y = X 2 X X X [ − 1 , 1 ] [-1, 1] [ − 1 , 1 ] r = 0 r = 0 r = 0 相关性不蕴含因果性（Correlation does not imply Causation）： 例如统计数据显示“财富增长与健康指标衰退存在显著相关”，实际背后存在共同驱动的潜伏变量——“年龄增长”。
::: 2. 辛普森悖论（Simpson's Paradox）深度剖析 在两个变量之间的关联模式，在各个独立子群中呈现同一方向（例如均为正），但将所有子群的数据合并后，该关联模式发生反转（变为负）的统计反常现象。
[经典临床案例：肾结石手术疗法疗效反转]
某医院针对两类结石患者（小结石与大结石）对比疗法 A（开腹手术）与疗法 B（微创介入）的治愈率：
病情细分 疗法 A 治愈率 疗法 B 治愈率 比较结论 小结石（轻症） 93% (81 / 87 81/87 81/87 87% (234 / 270 234/270 234/270 疗法 A 更优 大结石（重症） 73% (192 / 263 192/263 192/263 69% (55 / 80 55/80 55/80 疗法 A 更优 合并汇总（不分子群） 78% (273 / 350 273/350 273/350 83% (289 / 350 289/350 289/350 反转！疗法 B 表现更优
机制成因：
存在严重的混杂变量（结石大小）。大结石本身治愈难度极高（基准治愈率低），且医生倾向于将重症大结石患者安排做疗法 A（263 263 263 80 80 80
疗法 B 分配的大多是极容易治愈的小结石轻症患者（270 270 270
简单合并汇总时，非均衡的样本权重导致疗法 A 的平均成功率被重症拖垮，造成宏观上的虚假优势。
:::
任何涉及决策对比的数据分析，必须先进行因果图梳理，检验是否存在影响干预分配的混杂变量。一旦存在关键分层特征，决策必须基于各细分层内的同质条件概率，严禁使用粗暴加权的大池汇总结论指导业务。
三、时间序列特征与平滑预测
对于按时间先后顺序采集的序列数据 x 1 , x 2 , … , x T x_1, x_2, \dots, x_T x 1 , x 2 , … , x T
1. 移动平均（Moving Averages, MA）
使用长度为 w w w MA t : = 1 w ∑ j = 0 w − 1 x t − j \operatorname{MA}_t := \frac{1}{w}\sum_{j=0}^{w-1} x_{t-j} MA t := w 1 ∑ j = 0 w − 1 x t − j x ^ t = MA t − 1 \hat{x}_t = \operatorname{MA}_{t-1} x ^ t = MA t − 1 e t = x t − x ^ t e_t = x_t - \hat{x}_t e t = x t − x ^ t
平均绝对百分比误差（Mean Absolute Percent Error, MAPE）：
MAPE : = 1 T − 1 ∑ t = 2 T ∣ e t x t ∣ × 100 % \operatorname{MAPE} := \frac{1}{T-1}\sum_{t=2}^T \left|\frac{e_t}{x_t}\right| \times 100\% MAPE := T − 1 1 ∑ t = 2 T x t e t × 100% x t ≠ 0 x_t \ne 0 x t = 0
2. 指数加权移动平均（EWMA）
传统滑动窗口在移出窗口时会将历史数据彻底丢弃，而 EWMA 通过递推机制赋予历史更平滑的衰减权重：
EWMA t : = ω x t + ( 1 − ω ) EWMA t − 1 \operatorname{EWMA}_t := \omega x_t + (1 - \omega)\operatorname{EWMA}_{t-1} EWMA t := ω x t + ( 1 − ω ) EWMA t − 1 ω ∈ ( 0 , 1 ) \omega \in (0, 1) ω ∈ ( 0 , 1 ) EWMA t = ω x t + ω ( 1 − ω ) x t − 1 + ω ( 1 − ω ) 2 x t − 2 + ⋯ + ( 1 − ω ) t x 0 \operatorname{EWMA}_t = \omega x_t + \omega(1-\omega)x_{t-1} + \omega(1-\omega)^2 x_{t-2} + \dots + (1-\omega)^t x_0 EWMA t = ω x t + ω ( 1 − ω ) x t − 1 + ω ( 1 − ω ) 2 x t − 2 + ⋯ + ( 1 − ω ) t x 0 ω \omega ω
3. 自相关系数（Autocorrelation Coefficient）
度量时间序列与其自身滞后 k k k r k : = ∑ t = k + 1 T ( x t − k − x ˉ ) ( x t − x ˉ ) ∑ t = 1 T ( x t − x ˉ ) 2 r_k := \frac{\sum_{t=k+1}^T (x_{t-k} - \bar{x})(x_t - \bar{x})}{\sum_{t=1}^T (x_t - \bar{x})^2} r k := ∑ t = 1 T ( x t − x ˉ ) 2 ∑ t = k + 1 T ( x t − k − x ˉ ) ( x t − x ˉ )
