Archipelago

Lec 6期望、协方差与矩母函数

讲义完成更新于 2026-09-28
承接Lec 5 · 条件分布与随机变量之和
后续Lec 7 · 大数定律与中心极限定理

Lec 6 期望、协方差与矩母函数

MIT 9.07 · 脑与认知科学统计学 · 主讲 Emery N. Brown

TL;DR

  • 一阶与二阶矩的代数性质：数学期望是线性算子，协方差矩阵对角线为方差、非对角线反映神经通道间的线性同步耦合。
  • 相关系数的归一化投影：皮尔逊相关系数 r∈[−1,1]r \in [-1, 1] 测量无量纲线性依赖，零相关并不等价于非线性统计独立。
  • 矩母函数（MGF）的魔力：通过拉普拉斯域变换将卷积转为代数乘法，其 kk 阶导数在零点取值直接输出 kk 阶理论原点矩。

1. 核心问题

  • 驱动问题：- 怎样从单个变量的期望扩展到多个变量的联合变化，并用一个函数概括分布的矩？
  • 两个传感器一同升降时，只看各自方差会漏掉共同变化。
  • 统计本质：神经生物与行为数据本质上是由微观随机过程（离子通道开关、递质释放、神经元脉冲时延）驱动的高噪声样本，统计学提供了连接不确定性数据与生理因果律的严谨数学公理体系。
  • 课程坐标：本讲作为全课程第 6 讲，深度承接前后的理论进阶，构筑从基础概率空间向复杂参数估计与推断决策跃迁的关键量化基石。

2. 核心概念

概念一句话定义易混淆处
期望按概率加权的平均：E(X)E(X)必是可观察到的具体值
协方差E[(X−μX)(Y−μY)]E[(X-\mu_X)(Y-\mu_Y)]与相关系数同单位
相关系数ρ=Cov(X,Y)/(σXσY)\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)，范围 [−1,1][-1,1]零相关即无任何依赖
方差线性组合Var(aX+bY)=a2VX+b2VY+2abCov(X,Y)\mathrm{Var}(aX+bY)=a^2V_X+b^2V_Y+2ab\mathrm{Cov}(X,Y)永远只加两个方差
矩母函数（MGF）MX(t)=E(etX)M_X(t)=E(e^{tX})；存在时在零处求导给矩对任何重尾分布都存在

3. 证据链与数学推导

讲义材料：两路 MEG 传感器

  • 设计：延续第 4 讲前、后 SQUID 通道的同步记录，比较同向变化并定义协方差和相关。
  • 结果：讲义以散点与双变量模型说明两个通道的共同波动；该讲正文未给可复核的数值相关估计。
  • 推论：联合变化需要交叉矩，不能从两个边际均值或方差得知。
  • 软肋：相关只测线性关系；时间趋势或共同环境源也可能制造相关。

讲义算例：有漂移的膜电位随机游走

  • 设计：将亚阈膜电位写为确定性漂移加独立高斯增量的和，Vi=μti+σ∑j=0iWjV_i=\mu t_i+\sigma\sum_{j=0}^iW_j。
  • 结果：若每个增量均值 0、方差 1 且独立，则 E(Vi)=μtiE(V_i)=\mu t_i，Var(Vi)=σ2(i+1)\mathrm{Var}(V_i)=\sigma^2(i+1)。
  • 推论：平均轨迹可线性增长，同时不确定性随步数累积。
  • 软肋：增量独立是简化假设；PDF 把 Wiener 过程不同时刻的值写成互不相关，标准 Wiener 过程实际上是增量独立、过程值相关，此处应按离散增量模型理解。

讲义推导：泊松 MGF

  • 设计：对 X∼Pois(λ)X\sim\mathrm{Pois}(\lambda) 计算 E(etX)E(e^{tX})。
  • 结果：MX(t)=exp⁡[λ(et−1)]M_X(t)=\exp[\lambda(e^t-1)]；独立和的 MGF 相乘，可再次推出独立泊松和参数相加。
  • 推论：MGF 在零附近存在时可生成均值、方差等矩，并验证和的分布。
  • 软肋：MGF 不存在时不能用此法；MGF 是数学工具，不是新实验数据。

4. 理论之争与计算模型

立场 A立场 B区分证据
两通道变化可用线性相关概括非线性或时滞依赖同样重要散点形状、时滞交叉相关与残差检查
膜电位增量近似独立神经输入有时间关联增量自相关与预测误差

5. 分析层次的整合

系统层次核心研究维度本讲关键机制与实证
数学公理与概率层（Axiomatic）测度论、概率空间、随机变量分布族代数性质严格遵循全概率公式、矩母函数乘积与特征函数极限定理
统计推断与算法层（Algorithmic）估计量构造、似然求解、置信区间与假设检验决策最小化 MSE、求解得分方程与重采样经验分位数收敛
神经与实验数据层（Empirical）动作电位放电时间序列、脑电/肌电连续信号与行为抉择实测数据校准理论模型，Q-Q 图诊断残差偏态与过离散度
  • 层次小结：- 神经/生理：MEG 同步测量、膜电位随机游走。
  • 认知/信息加工：联合期望、方差分解和分布的矩。
  • 行为：沿用大鼠学习试次的二项计数示例，无新行为结果。
  • 社会/文化：未展开。

6. 边界条件与失效情形

    • 独立推出零协方差，反向一般不成立；第 4 讲的联合高斯是特殊例外。
  • 若变量没有有限期望或 MGF 不在零附近存在，相关或 MGF 的惯常操作可能失效。
  • 原讲义随机游走中过程值/增量的混写会使协方差判断出错，需区分二者。
  • 常态与极端的辩证：大样本渐近理论（如 CLT、MLE 渐近正态）在小样本或强相关神经元群体中面临严重失效风险；必须通过非参数自举或精确检验监控统计稳健性。

7. 课程内外的横向关联

  • 讲次串联：- Lec04-Transformations-and-Joint-Distributions 给联合分布，本讲计算其交叉矩。
  • Lec07-LLN-and-CLT 通过均值与方差研究样本平均的极限。
  • 自举例：两个仪器共享电源波动，平均单独噪声接近零，但相加噪声的方差还包含协方差项。
  • 跨学科生态联结：与 MIT 9.00《心理学导论》研究方法、9.35《知觉》心理物理学、以及 9.59《心理语言学实验》的方差分析与线性回归紧密贯通，构成了整个脑与认知科学的通用统计语言。

我的理解

统计神经科学家的心智诊断：相关的陷阱——零相关绝非心智的独立

在数以万计的神经元同步性记录中，如果两个脑区的电位信号皮尔逊相关系数为零，大多数研究者会轻易得出结论：“它们互不相干，彼此独立。”

这是线性代数对复杂心智最大的遮蔽。

相关系数仅仅测度了一维直线的斜率投影。两个变量完全可以在非线性圆环或抛物线上以 100% 确定性的方式紧密咬合，却依然能给出完美的 r=0r = 0。

矩母函数（MGF）的存在提醒我们：心智的动力学拥有无穷阶的高阶矩。只盯住一阶期望与二阶方差的人，只能看清大象的脚印，却永远无法领略神经交互那丰富多维的高阶概率曲面。

8. 思考题与自测

  1. 写出 Var(X+Y)\mathrm{Var}(X+Y)；何时能删去协方差项？
  2. 随机游走的均值和方差随步数怎样变化？
  3. 为什么 Wiener 过程「增量独立」不等于「不同时间点的值独立」？

9. 开放问题与前沿探索

  • 未决之谜：- 在 MEG 时间序列中，怎样把共同噪声与真实同步脑活动区分？
  • 有重尾或时间依赖时，MGF 和独立和法怎样替换？
  • 前沿计算交叉：点过程非线性滤波（Point Process Filter）与状态空间模型（State-space Models）在脑机接口（BCI）实时神经假体运动解码中的实证应用，展示了统计推断在闭环神经工程中的最前沿突破。

10. 参考文献与延伸阅读

  • 课程核心材料：
    • Brown, E. N. (2016). 9.07 Statistics for Brain and Cognitive Science, Lecture 6: 期望、协方差与矩母函数. MIT OpenCourseWare.
    • Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.
    • Brown, E. N., Kass, R. E., & Mitra, P. P. (2004). Multiple neural spike train data analysis: State-of-the-art and future challenges. Nature Neuroscience, 7(5), 456–461.
    • Kass, R. E., Eden, U. T., & Brown, E. N. (2014). Analysis of Neural Data. Springer.