Lec 19纹理知觉 II：高阶图像统计与外周视觉压缩
Lec 19 纹理知觉 II：高阶图像统计与外周视觉压缩
MIT 9.35 · Perception · 主讲 Josh McDermott
TL;DR
- 外周视觉的统计汇总模型：麦克德莫特模型证明外周视觉通过跨空间汇总高阶图像统计量（边缘相关、能量分布）实现高压缩率传输。
- 统计混淆与外周拥挤效应：当侧边目标被相似侧翼物体包围时，其独立身份被外周统计均值吞噬，导致无法辨认（Crowding Effect）。
- 视觉与听觉统计表征的同构：声音纹理（雨声、火声、风声）同样由听觉滤波器包络的边际均值、方差与跨通道相关性完全决定。
- 合成声音与图像的心理物理验证：仅保留测量统计量合成的纹理样本在主观上与真实自然环境无法区分，证实统计表征是知觉现实的底座。
1. 核心问题
- 驱动问题：- 为什么图像像素或声音波形不同，仍可被知觉为同一种纹理？
- 计算本质：知觉是大脑在面对感觉输入（高噪声、低维投影、非唯一逆问题）时，调动演化与经验先验对真实物理环境展开的贝叶斯最大后验概率估计（MAP）。
- 模块承接：本讲作为全课程第 19 讲，深度承接前后感官因果链条，构筑感知向认知升维的关键计算台阶。
2. 核心概念
| 概念 | 一句话定义 | 易混淆处 |
|---|---|---|
| 纹理统计 | 局部方位、尺度、能量及相关结构的分布。 | 统计压缩可丢像素位置但不应丢全部结构。 |
| 纹理合成 | 匹配候选统计生成新图，检验表征充分性。 | 合成像不像是检验模型，非只看数值匹配。 |
| 跨尺度相关 | 不同位置/方位/尺度特征之间的依赖。 | 相关不等同于单通道直方图。 |
| 听觉纹理 | 雨、火等声音的长期平均调制与能量统计。 | 同类纹理的不同短片段并非物理相同。 |
| summary statistics | 对图像区域或声音片段的压缩统计描述。 | 摘要统计不保证对象或具体片段可识别。 |
3. 证据链
纹理合成比较
- 设计/比较：从噪声合成只匹配简单滤波直方图或再加入 Portilla–Simoncelli 跨特征相关。
- 讲义所述结果：简单统计合成可失去自然轮廓，较高阶统计可改善纹理相似度。
- 推论：合成结果是否像原图可反向检验统计表征。
- 软肋：对具有全局对象结构的图像，局部纹理统计仍不足。
声音纹理的时长与样本辨别
- 设计/比较：比较三段声音的“不同纹理”辨别，以及同一种纹理中“两段完全相同、一段不同样本”的辨别；改变片段时长。
- 讲义所述结果：片段越长，区分雨与火等不同纹理越容易；区分同一纹理的不同样本反而更难。
- 推论：随着时间延长，局部细节帮助估计稳定平均统计，但不一定保留为可报告的具体样本记忆。
- 软肋：该模式支持统计表征，却不独定全部神经算法；声音类别和任务规则也需控制。
4. 理论之争与计算模型
| 解释 A | 解释 B | 区分证据 |
|---|---|---|
| 纹理必须保留每个像素或声音事件的精确顺序 | 部分空间或时间统计可支持相似纹理体验 | 统计匹配合成与人类相似判断。 |
5. 分析层次的整合
| 系统层次 | 核心研究维度 | 本讲关键机制与实证 |
|---|---|---|
| 物理与环境层（Physical） | 外部声光电磁刺激的传播与衰减 | 刺激遵循空间、时间与几何光学/声学客观物理法则 |
| 受体与生理层（Physiological） | 感受器官机械/光电换能与突触传递 | 感受野构建、动作电位编码与功能柱分层拓扑 |
| 计算与推断层（Computational） | 贝叶斯先验结合、约束求解与特征绑定 | 克服逆问题不适定性，生成最可能的目标表征 |
| 行为与心理物理层（Behavioral） | 心理物理辨别阈值、觉察反应时与主观错觉 | 行为表现暴露大脑底层所依赖的隐性计算先验 |
- 分析层次小结：- 图像/声音：局部滤波与时间平均统计；神经：多尺度特征；计算：合成与压缩；行为：视觉纹理判断和声音样本辨别。
6. 边界条件与失效情形
-
- 相似的局部统计可掩盖重要全局形状或声音事件顺序，因此纹理模型不应替代物体或说话者识别模型。
- 常态与极端的辩证：错觉与推断失效绝非心智故障，而是知觉推断机制在脱离日常自然生态统计分布的人工极端刺客刺激下，其内在假设被孤立放大的必然体现。
7. 课程内外的横向关联
- 讲次串联：- Lec18-Object-Recognition-and-Texture → Lec20-Attention-I。
- 自拟例子：两块织物像素排列不同，仍可因局部纹理统计相似而显得同质；检验时应控制其他线索。
- 横向跨学科映射：与 MIT 9.00《心理学导论》的感觉感知篇目紧密呼应，在认知神经科学层面将感知心理物理学与初级/高级感觉皮层微回路计算进行端到端对齐。
我的理解
认知科学家的心智诊断：外周视觉的统计压缩——大脑在细节与带宽间的绝妙平衡
中央凹只占视网膜面积的不到 1%，而占据 99% 的外周视觉并没有高清像素成像，它在进行着高阶图像统计的极度有损压缩。
麦克德莫特（Josh McDermott）与西蒙塞利（Simoncelli）的纹理知觉模型证明：在外周视野中，单个特征的位置被抹去，取而代之的是边缘相关性、跨尺度能量与二阶统计量。
只要统计特征匹配，哪怕局部像素全盘错乱，我们依然会觉得视野边缘是一片生机勃勃的世界。这种统计汇总表征，是大脑在神经带宽瓶颈下维系全景连续感的最伟大妥协。
8. 思考题与自测
- 为什么合成纹理是检验理论的工具？
- 一阶统计遗漏什么结构？
- 为什么同种声音纹理的样本辨别可随时长变差，而不同纹理辨别变好？
9. 开放问题与前沿探索
- 未决之谜：- 视觉与听觉的纹理统计中，哪些特征体现感觉器官的具体编码约束？
- 前沿计算交叉：当代深度神经网络（如 Vision Transformer 与深度听觉模型）是否采用了与生物大脑一致的先验约束？如何用生物知觉的抗干扰与小样本泛化机制纠正人工系统的脆弱性？
10. 参考文献与延伸阅读
- 课程核心材料：
- McDermott, J. (2024). 9.35 Perception, Lecture 19: 纹理知觉 II：高阶图像统计与外周视觉压缩. MIT OpenCourseWare.
- Wandell, B. A. (1995). Foundations of Vision. Sinauer Associates.
- Moore, B. C. J. (2012). An Introduction to the Psychology of Hearing (6th ed.). Brill.
- Marr, D. (1982). Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W. H. Freeman.