Lec 9 似然理论与最大似然估计

MIT 9.07 · 脑与认知科学统计学 · 主讲 Emery N. Brown

TL;DR

• 似然函数的反转视角：固定观测数据，将对数似然视为未知参数的函数，求解得分函数（Score Function）零点获得极大似然估计。
• Fisher 信息与曲率度量：对数似然二阶导数的负期望度量了数据对参数的敏感度，信息量越大，参数估计的方差下限越窄。
• Cramér-Rao 不等式界：任何无偏估计量的方差下限不可突破 Fisher 信息的倒数，MLE 渐近达到该界实现最优有效性。

1. 核心问题

• 驱动问题：- 同样的 22/40 次正确、视网膜放电间隔或 MEG 噪声数据，怎样系统选择模型参数？
• 似然告诉我们参数之间的相对数据支持，不能把未归一化的似然曲线直接读成参数概率。
• 统计本质：神经生物与行为数据本质上是由微观随机过程（离子通道开关、递质释放、神经元脉冲时延）驱动的高噪声样本，统计学提供了连接不确定性数据与生理因果律的严谨数学公理体系。
• 课程坐标：本讲作为全课程第 9 讲，深度承接前后的理论进阶，构筑从基础概率空间向复杂参数估计与推断决策跃迁的关键量化基石。

2. 核心概念

概念	一句话定义	易混淆处
似然 $L(\theta)$	固定数据 $x$ 后，把 $f(x\mid\theta)$ 看作 $\theta$ 的函数	参数的概率密度
对数似然	将独立试次的概率乘积变成和	改变最优参数位置
最大似然估计（MLE）	使 $L(\theta)$ 最大的参数值	保证真实且无偏
充分统计量	对指定模型参数保留样本相关信息的摘要	对所有模型都充分
Fisher 信息	正则条件下描述似然曲线局部曲率与估计精度	不需检查模型拟合

3. 证据链与数学推导

讲义算例：大鼠 22/40 次正确

• 设计：在二项模型下，固定 40 次中 22 次正确，将 $L(p)={40\choose22}p^{22}(1-p)^{18}$ 视作 $p$ 的函数。
• 结果：解对数似然的导数零点得 $\hat p_{ML}=22/40=0.55$；二项系数与 $p$ 无关，不改变最大值位置。
• 推论：在这个模型中正确总数是估计 $p$ 的关键摘要。
• 软肋：试次独立同概率是假设；如果正确率随试次上升，总数会隐藏学习轨迹。

讲义算例：Gamma 间隔与 MEG 高斯数据

• 设计：对 Gamma 模型写出含 $\sum x_i$ 与 $\sum\log x_i$ 的对数似然；对 MEG 背景噪声用高斯似然估计均值、方差。
• 结果：Gamma 形状参数的分数方程通常要数值求解，矩估计可给初值；高斯模型的 MLE 为样本均值和以 $n$ 为分母的样本平方偏差。
• 推论：估计方法是否与矩估计相同取决于分布族和数据摘要；数值优化需检查是否找到全局最大值。
• 软肋：模型误设或观测相关会使这些似然表达式失真；MLE 方差分母 $n$ 不等于常见无偏样本方差分母 $n-1$。

讲义推导：似然曲率

• 设计：在最大值附近将对数似然泰勒展开，取负二阶导定义观测信息。
• 结果：局部二次近似的曲率越大，正则、大样本条件下估计方差近似越小；讲义以已知 $\sigma^2$ 的高斯均值例得到曲率 $n/\sigma^2$。
• 推论：除了峰值位置，还需峰宽描述估计不确定性。
• 软肋：边界参数、多峰或小样本时局部高斯近似可能不可靠。

4. 理论之争与计算模型

立场 A	立场 B	区分证据
用矩估计易算且直观	用似然可更充分利用指定模型的信息	模拟偏差、方差及预测拟合
独立同分布似然适合试次数据	学习或状态变化需要动态似然	逐试次残差与参数随时间变化

5. 分析层次的整合

系统层次	核心研究维度	本讲关键机制与实证
数学公理与概率层（Axiomatic）	测度论、概率空间、随机变量分布族代数性质	严格遵循全概率公式、矩母函数乘积与特征函数极限定理
统计推断与算法层（Algorithmic）	估计量构造、似然求解、置信区间与假设检验决策	最小化 MSE、求解得分方程与重采样经验分位数收敛
神经与实验数据层（Empirical）	动作电位放电时间序列、脑电/肌电连续信号与行为抉择	实测数据校准理论模型，Q-Q 图诊断残差偏态与过离散度

• 层次小结：- 神经/生理：MEG 噪声、量子释放和视网膜间隔模型。
• 认知/信息加工：数据固定后参数比较与局部不确定性。
• 行为：大鼠 T 迷宫正确总数。
• 社会/文化：未展开。

6. 边界条件与失效情形

• • 似然函数一般不在参数空间积分为 1；没有先验和归一化步骤，就不是参数的后验分布。
• 分数方程为零只是候选极值；仍要检查边界和全局最大值。
• 渐近有效和近高斯是正则大样本性质，不能自动套入当前有限数据。
• 常态与极端的辩证：大样本渐近理论（如 CLT、MLE 渐近正态）在小样本或强相关神经元群体中面临严重失效风险；必须通过非参数自举或精确检验监控统计稳健性。

7. 课程内外的横向关联

• 讲次串联：- Lec08-Method-of-Moments 用同一数据匹配样本矩；本讲改用整条似然曲线。
• Lec10-Bayesian-Methods 将似然与先验结合成后验。
• 自举例：两个参数的似然峰一样高，但一个峰宽一个峰窄；单报最优值会丢失精度差异。
• 跨学科生态联结：与 MIT 9.00《心理学导论》研究方法、9.35《知觉》心理物理学、以及 9.59《心理语言学实验》的方差分析与线性回归紧密贯通，构成了整个脑与认知科学的通用统计语言。

8. 思考题与自测

1. 为什么二项系数不会改变 $p$ 的 MLE？
2. $n$ 与 $n-1$ 两种方差分母分别服务什么目的？
3. 什么情况下对数似然峰的二次近似可能失败？

9. 开放问题与前沿探索

• 未决之谜：- 若学习试次有历史依赖，怎样建联合似然而保留时序？
• Gamma 与逆高斯间隔模型怎样用预测表现比较？
• 前沿计算交叉：点过程非线性滤波（Point Process Filter）与状态空间模型（State-space Models）在脑机接口（BCI）实时神经假体运动解码中的实证应用，展示了统计推断在闭环神经工程中的最前沿突破。

10. 参考文献与延伸阅读

• 课程核心材料：
  • Brown, E. N. (2016). 9.07 Statistics for Brain and Cognitive Science, Lecture 9: 似然理论与最大似然估计. MIT OpenCourseWare.
  • Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.
  • Brown, E. N., Kass, R. E., & Mitra, P. P. (2004). Multiple neural spike train data analysis: State-of-the-art and future challenges. Nature Neuroscience, 7(5), 456–461.
  • Kass, R. E., Eden, U. T., & Brown, E. N. (2014). Analysis of Neural Data. Springer.