視覺：對人類如何表示和處理視覺信息的計算研究

作者：David Courtnay Marr是計算神經科學領域的創始人之一，曾任麻省理工學院心理學教授。 Shimon Ullman是位於以色列雷霍沃特的魏茨曼科學研究所的計算機科學Samy和Ruth Cohn講席教授。 Tomaso Poggio是麻省理工學院腦和認知科學系的Eugene McDermott講席教授。 Ullman和Poggio都曾在麻省理工學院與David Marr共事。

譯者：吳佳俊，斯坦福大學計算機科學系助理教授，研究方向是計算機視覺、機器學習和計算認知科學。加入斯坦福大學之前，曾是谷歌研究院的訪問研究員，並分別在清華大學和麻省理工學院獲得了學士和博士學位。他的研究曾獲ACM博士學位論文榮譽提名獎、AAAI/ACM SIGAI博士學位論文獎、麻省理工學院George M. Sprowls人工智能與決策博士學位論文獎，以及2020年三星人工智能年度研究人員獎。

Ⅰ部分 引言和哲學基礎
總述........................................................................................................................... 3
１章 哲學原理和方法.......................................................................................... 7
1.1 背景知識 ...................................................................................................... 7
1.2 理解複雜的信息處理系統......................................................................... 16
表示和描述 ................................................................................................ 16
處理............................................................................................................ 17
信息處理的三個層次 ................................................................................ 19
計算理論的重要性 .................................................................................... 21
J. J. Gibson 的方法..................................................................................... 22
1.3 視覺的表示框架 ........................................................................................ 24
視覺的目的 ................................................................................................ 25
高級視覺 .................................................................................................... 26
目標與可行性 ............................................................................................ 28
Ⅱ部分 視覺
2 章 圖像的表示............................................................................................... 33
2.1 早期視覺的物理背景................................................................................. 33
圖像的表示 ................................................................................................ 35
基本物理假設 ............................................................................................ 35
圖像表示的一般性質 ................................................................................ 40
2.2 過零點和原初草圖..................................................................................... 42
過零點........................................................................................................ 42
生物學的意義 ............................................................................................ 48
原初草圖 .................................................................................................... 54
哲學私語 .................................................................................................... 59
2.3 圖像的空間排布 ........................................................................................ 62
2.4 光源和透明度 ............................................................................................ 68
其他光源效果 ............................................................................................ 70
透明度........................................................................................................ 70
結論............................................................................................................ 71
2.5 聚合過程和全初草圖................................................................................. 71
主要論點 .................................................................................................... 75
紋理辨別的計算方法及其心理物理學意義............................................. 76
3 章 從圖像到表面 ........................................................................................... 78
3.1 人類視覺處理的模塊化組織..................................................................... 78
3.2 圖像的處理、約束和可用表示................................................................. 81
3.3 立體視覺 .................................................................................................... 87
測量立體視差 ............................................................................................ 87
從視差中計算距離和表面朝向 .............................................................. 121
3.4 方向選擇性 .............................................................................................. 124
視覺運動引言 .......................................................................................... 124
利用方向選擇性來分離獨立運動的表面............................................... 136
漸進.......................................................................................................... 141
3.5 似動 .......................................................................................................... 141
為什麼要研究似動 .................................................................................. 142
把問題一分為二 ...................................................................................... 143
對應問題 .................................................................................................. 146
從運動中恢復結構 .................................................................................. 158
光流.......................................................................................................... 164
3.6 形狀輪廓 .................................................................................................. 166
一些例子 .................................................................................................. 167
遮擋輪廓 .................................................................................................. 168
表面朝向的不連續 .................................................................................. 173
表面輪廓 .................................................................................................. 175
3.7 表面紋理 .................................................................................................. 180
分離紋理元素 .......................................................................................... 180
小結.......................................................................................................... 184
3.8 明暗和光度立體視覺............................................................................... 184
梯度空間 .................................................................................................. 185
表面光照、表面反和圖像強度 .......................................................... 188
反率圖 .................................................................................................. 189
從明暗中恢復形狀 .................................................................................. 191
光度立體視覺 .......................................................................................... 192
3.9 明度、亮度和色彩................................................................................... 194
Helson-Judd 方法..................................................................................... 195
關於亮度和色彩的視網膜—皮層理論................................................... 196
同時對比的重要性的物理依據 .............................................................. 200
對強度非線性變化的表層起源的假設................................................... 202
測量三色圖像的意義 .............................................................................. 203
本方法小結 .............................................................................................. 204
3.10 本章小結 ................................................................................................ 205
4 章 可見表面的直接表示............................................................................... 208
4.1 引言 .......................................................................................................... 208
4.2 圖像分割 .................................................................................................. 209
4.3 對問題的重新建模................................................................................... 211
4.4 需要表示的信息 ...................................................................................... 213
4.5 2.5 維草圖的一般形式............................................................................. 215
4.6 表示的可能形式 ...................................................................................... 216
4.7 可能的坐標系 .......................................................................................... 220
4.8 插值、延續性和不連續性....................................................................... 221
4.9 插值問題的計算 ...................................................................................... 224
不連續...................................................................................................... 224
插值方法 .................................................................................................. 226
4.10 其他內部計算 ........................................................................................ 228
5 章 用於識別的形狀表示............................................................................... 230
5.1 引言 .......................................................................................................... 230
5.2 形狀表示引起的問題............................................................................... 231
評判形狀表示的有效性的標準 .............................................................. 232
形狀表示的設計選擇 .............................................................................. 233
5.3 三維模型表示 .......................................................................................... 235
自然坐標系 .............................................................................................. 236
基於坐標軸的描述 .................................................................................. 236
三維模型表示的模塊化組織 .................................................................. 237
三維模型的坐標系 .................................................................................. 239
5.4 自然推廣 .................................................................................................. 241
5.5 推導和使用三維模型表示....................................................................... 244
三維模型描述的推導 .............................................................................. 244
以觀察者為中心的坐標系和以物體為中心的坐標系的關係............... 247
三維模型的索引和目錄 .......................................................................... 247
推導和識別的交互 .................................................................................. 250
5.6 心理學的考量 .......................................................................................... 253
6 章 總結........................................................................................................ 256
Ⅲ部分 尾聲
7 章 對計算方法的辯護 .................................................................................. 261
7.1 引言 .......................................................................................................... 261
7.2 一段對話 .................................................................................................. 261
原書 2 版後記 Marr 的《視覺》和計算神經科學............................................. 284
中文版後記 從 Marr 的《視覺》到人類智能問題................................................ 288
術語表................................................................................................................... 292
參考文獻 ............................................................................................................... 298