Lec 4音高知觉与听觉场景分析
Lec 4 音高知觉与听觉场景分析
MIT 9.35 · Perception · 主讲 Josh McDermott
TL;DR
- 基频丢失现象：去除基频的谐波复音依然产生等于基频的音高知觉，证实大脑存在超越外周测量的中枢谐波模板。
- 时间代码与位置代码：低频依赖听神经纤维的锁相发放周期，高频依赖耳蜗基底膜的频带共振位置，二者协同表征音高。
- 听觉场景分析的分组机制：具有共同基频、相同时谐波包络与共同起始的声学成分被自动化绑定为同一个声音实体。
- 周期性与语音基频：音高不仅是音乐旋律的基石，更是区隔不同说话者、在噪声中跟踪目标语音的最核心物理锚点。
1. 核心问题
- 驱动问题：- 基频缺失时为什么仍能听见音高，哪些频率成分会被归为一个声源？
- 计算本质：知觉是大脑在面对感觉输入（高噪声、低维投影、非唯一逆问题）时，调动演化与经验先验对真实物理环境展开的贝叶斯最大后验概率估计（MAP）。
- 模块承接：本讲作为全课程第 4 讲，深度承接前后感官因果链条，构筑感知向认知升维的关键计算台阶。
2. 核心概念
| 概念 | 一句话定义 | 易混淆处 |
|---|---|---|
| 基频 | 谐波复合音的共同周期。 | 基频可物理缺席，音高仍存在。 |
| 缺失基频 | 信号没有 成分却仍有对应音高。 | 缺失谱线与缺失周期是两回事。 |
| 位置编码 | 不同谐波在耳蜗位置模式中可被分解。 | 位置码与时间码可同时贡献。 |
| 时间编码 | 放电相位锁定/包络保留周期。 | 相位锁定有频率范围限制。 |
| 解析谐波 | 落在不同听觉滤波器的低次谐波。 | 解析程度取决于耳蜗滤波宽度。 |
3. 证据链
缺失基频演示
- 设计/比较：删去谐波复合音的物理基频，保留其整数倍成分。
- 讲义所述结果：听者仍可报告与原 接近的音高。
- 推论：音高可由谐波关系或周期性推断，不等于某单一谱线。
- 软肋：多个位置/时间编码机制都可能贡献，演示不独定神经实现。
谐波失谐比较
- 设计/比较：轻微改变复合音中一条谐波的频率。
- 讲义所述结果：失谐成分可能从整体音色跳出而成独立声源。
- 推论：谐波性是同时分组的重要线索。
- 软肋：分组还依赖起止同步、空间位置及注意。
4. 理论之争与计算模型
| 解释 A | 解释 B | 区分证据 |
|---|---|---|
| 音高等于最强物理频率 | 音高是对整体谐波与时间结构的估计 | 删基频并比较解析/未解析谐波。 |
5. 分析层次的整合
| 系统层次 | 核心研究维度 | 本讲关键机制与实证 |
|---|---|---|
| 物理与环境层（Physical） | 外部声光电磁刺激的传播与衰减 | 刺激遵循空间、时间与几何光学/声学客观物理法则 |
| 受体与生理层（Physiological） | 感受器官机械/光电换能与突触传递 | 感受野构建、动作电位编码与功能柱分层拓扑 |
| 计算与推断层（Computational） | 贝叶斯先验结合、约束求解与特征绑定 | 克服逆问题不适定性，生成最可能的目标表征 |
| 行为与心理物理层（Behavioral） | 心理物理辨别阈值、觉察反应时与主观错觉 | 行为表现暴露大脑底层所依赖的隐性计算先验 |
- 分析层次小结：- 声学：谐波结构；耳蜗：滤波与相位锁定；计算：估计共同周期；行为：音高匹配及声源判断。
6. 边界条件与失效情形
-
- 低次解析谐波与高次未解析谐波可能使用不同读数；模型重现错觉不证明大脑内部算法相同。
- 常态与极端的辩证：错觉与推断失效绝非心智故障，而是知觉推断机制在脱离日常自然生态统计分布的人工极端刺客刺激下，其内在假设被孤立放大的必然体现。
7. 课程内外的横向关联
- 讲次串联：- Lec03-Sound-Localization-and-Psychophysics → Lec05-Auditory-Scene-Analysis。
- 自拟例子：小扬声器没有输出很低的基频，人仍可能听出相应音高；检验时应控制其他线索。
- 横向跨学科映射：与 MIT 9.00《心理学导论》的感觉感知篇目紧密呼应，在认知神经科学层面将感知心理物理学与初级/高级感觉皮层微回路计算进行端到端对齐。
我的理解
认知科学家的心智诊断：丢失的基频——心智对和谐模式的内在渴望
当你在一台廉价小收音机里听低音提琴演奏时，收音机的微型喇叭在物理上根本无法发出 50 Hz 的低频声波；但在你的意识中，你却真切地听到了沉浑饱满的低音。
这就是著名的“基频丢失”（Missing Fundamental）现象。
听觉中枢并没有去死板测量物理波长，它在神经活动中激活了一套跨频率的“谐波模板”。只要高阶谐波的间隔保持整倍数，大脑就会自动化地向虚空推断出那个并不存在的基频。心智对秩序与谐和的渴求，甚至能够凭空填补物理现实的空白。
8. 思考题与自测
- 缺失基频反驳哪种简单理论？
- 解析谐波和未解析谐波各保留什么音高线索？
- 为什么失谐成分容易被听成另一个声源？
9. 开放问题与前沿探索
- 未决之谜：- 生态任务训练的模型与人类一致时，如何进一步检验其神经机制？
- 前沿计算交叉：当代深度神经网络（如 Vision Transformer 与深度听觉模型）是否采用了与生物大脑一致的先验约束？如何用生物知觉的抗干扰与小样本泛化机制纠正人工系统的脆弱性？
10. 参考文献与延伸阅读
- 课程核心材料：
- McDermott, J. (2024). 9.35 Perception, Lecture 4: 音高知觉与听觉场景分析. MIT OpenCourseWare.
- Wandell, B. A. (1995). Foundations of Vision. Sinauer Associates.
- Moore, B. C. J. (2012). An Introduction to the Psychology of Hearing (6th ed.). Brill.
- Marr, D. (1982). Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W. H. Freeman.