Lec 16深度知觉 II：双眼视差与立体视觉
Lec 16 深度知觉 II：双眼视差与立体视觉
MIT 9.35 · Perception · 主讲 Josh McDermott
TL;DR
- 双眼视差与对应点视网膜：双眼瞳距产生微小的水平视角差，落于立体视界（Horopter）之外的物体在两眼视网膜形成交叉或非交叉视差。
- 随机点立体图击碎语义预判：朱尔斯证实无需先看懂物体轮廓即可仅凭纯几何噪点视差产生立体深度，确立了前注意立体视觉机制。
- 视差对应问题的求解算法：立体匹配通过粗到细空间频率金字塔、表面平滑性约束与唯一定位约束，解决海量点对的二义性配对。
- 多线索贝叶斯最优融合：大脑依据单眼透视、视差与运动视差各自的方差反比赋予可靠性权重，实现加权最小均方误差的深度整合。
1. 核心问题
- 驱动问题：- 两眼的不同图像怎样给出深度，如何决定哪条深度线索更可信？
- 计算本质：知觉是大脑在面对感觉输入（高噪声、低维投影、非唯一逆问题）时，调动演化与经验先验对真实物理环境展开的贝叶斯最大后验概率估计（MAP）。
- 模块承接：本讲作为全课程第 16 讲，深度承接前后感官因果链条，构筑感知向认知升维的关键计算台阶。
2. 核心概念
| 概念 | 一句话定义 | 易混淆处 |
|---|---|---|
| 双眼视差 | 同一世界点在左右视网膜的相对位置差。 | 视差须先匹配对应点。 |
| 对应问题 | 先判断左右眼哪些特征源自同一点。 | 对应关系是算法问题，不是视差数值。 |
| 随机点立体图 | 没有单眼轮廓，仍可由视差产生深度。 | 随机点图排除单眼形状线索，不排除所有深度机制。 |
| 融合范围 | 有限视差内可形成单一立体经验。 | 融合范围有限，过大视差可复视。 |
| 可靠性加权 | 噪声小的线索在联合估计中获更高权重。 | 逆方差加权依赖噪声与共同原因假设。 |
3. 证据链
随机点立体图
- 设计/比较：给两眼看不同随机点图，只在成对点的水平位移中编码形状。
- 讲义所述结果：观察者可报告只在双眼条件下出现的深度形状。
- 推论：视差本身足以在某条件下提供立体线索。
- 软肋：需先解决匹配；视差过大或图案噪声大时可能失败。
线索冲突任务
- 设计/比较：让视差与纹理/其他深度线索给出不同估计，改变各自噪声。
- 讲义所述结果：联合深度报告会随线索可靠性改变。
- 推论：知觉可按近似逆方差权重结合信息。
- 软肋：线索独立性、校准和共同原因假设不满足时，简单权重模型会失败。
4. 理论之争与计算模型
| 解释 A | 解释 B | 区分证据 |
|---|---|---|
| 所有深度线索等权平均 | 线索权重随可靠性与共同原因而变 | 操纵噪声与线索冲突测权重。 |
5. 分析层次的整合
| 系统层次 | 核心研究维度 | 本讲关键机制与实证 |
|---|---|---|
| 物理与环境层（Physical） | 外部声光电磁刺激的传播与衰减 | 刺激遵循空间、时间与几何光学/声学客观物理法则 |
| 受体与生理层（Physiological） | 感受器官机械/光电换能与突触传递 | 感受野构建、动作电位编码与功能柱分层拓扑 |
| 计算与推断层（Computational） | 贝叶斯先验结合、约束求解与特征绑定 | 克服逆问题不适定性，生成最可能的目标表征 |
| 行为与心理物理层（Behavioral） | 心理物理辨别阈值、觉察反应时与主观错觉 | 行为表现暴露大脑底层所依赖的隐性计算先验 |
- 分析层次小结：- 双眼光学：不同投影；视觉回路：对应与视差；计算：多线索加权；行为：立体深度报告。
6. 边界条件与失效情形
-
- 双眼视差相对于注视点定义；随机点图证明视差可产生深度，不代表真实场景总不需单眼线索。
- 常态与极端的辩证：错觉与推断失效绝非心智故障，而是知觉推断机制在脱离日常自然生态统计分布的人工极端刺客刺激下，其内在假设被孤立放大的必然体现。
7. 课程内外的横向关联
- 讲次串联：- Lec15-Depth-Perception-I → Lec17-Generic-Viewpoint-and-Object-Recognition。
- 自拟例子：立体电影给两眼不同图像，能在平面屏幕上制造深度；检验时应控制其他线索。
- 横向跨学科映射：与 MIT 9.00《心理学导论》的感觉感知篇目紧密呼应，在认知神经科学层面将感知心理物理学与初级/高级感觉皮层微回路计算进行端到端对齐。
我的理解
认知科学家的心智诊断：随机点立体图的震撼——纯视差无需先验识别
朱尔斯（Béla Julesz）的随机点立体图（RDS）是 20 世纪知觉心理学最伟大的实验里程碑之一。
在 RDS 出现之前，主流学界普遍认为人必须先看懂物体的轮廓和含义，然后两眼才能将其匹配对齐以产生立体感。
朱尔斯用完全随机、毫无语义的黑白噪点图，证明了大脑在完全不知道画面画的是什么之前，就已经在早期视皮层通过点对点的纯视差关联计算出了三维浮雕。立体视觉不是高级思维的赏赐，而是低级神经元在视差空间中完成的物理计算。
8. 思考题与自测
- 双眼视差为何先要解决对应问题？
- 随机点立体图排除了哪些单眼解释？
- 何时多线索融合不会比最佳单线索更好？
9. 开放问题与前沿探索
- 未决之谜：- 发育经验如何校准视觉与触觉的共同深度尺度？
- 前沿计算交叉：当代深度神经网络（如 Vision Transformer 与深度听觉模型）是否采用了与生物大脑一致的先验约束？如何用生物知觉的抗干扰与小样本泛化机制纠正人工系统的脆弱性？
10. 参考文献与延伸阅读
- 课程核心材料：
- McDermott, J. (2024). 9.35 Perception, Lecture 16: 深度知觉 II：双眼视差与立体视觉. MIT OpenCourseWare.
- Wandell, B. A. (1995). Foundations of Vision. Sinauer Associates.
- Moore, B. C. J. (2012). An Introduction to the Psychology of Hearing (6th ed.). Brill.
- Marr, D. (1982). Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W. H. Freeman.