3D電腦視覺：基礎與前沿方法

第1章 緒論 001
1.1　電腦視覺簡介 002
1.1.1　人類視覺要點 002
1.1.2　電腦視覺 003
1.1.3　相關學科 004
1.2　電腦視覺理論和框架 007
1.2.1　視覺計算理論 007
1.2.2　框架問題和改進 011
1.2.3　關於馬爾重建理論的討論 013
1.2.4　新理論框架的研究 016
1.2.5　從心理認知出發的討論 018
1.3　圖像工程簡介 021
1.3.1　圖像工程的3個層次 021
1.3.2　圖像工程的研究和應用 023
1.4　深度學習簡介 024
1.4.1　捲積神經網絡的基本概念 024
1.4.2　深度學習的核心技術 028
1.4.3　電腦視覺中的深度學習 030
1.5　本書的組織架構和內容 032
參考文獻 033

第2章 攝像機成像和標定 036
2.1　亮度成像模型 037
2.1.1　光度學概念 037
2.1.2　基本的亮度成像模型 038
2.2　空間成像模型 039
2.2.1　投影成像幾何 039
2.2.2　基本空間成像模型 040
2.2.3　通用空間成像模型 043
2.2.4　完整空間成像模型 045
2.3　攝像機模型 047
2.3.1　線性攝像機模型 047
2.3.2　非線性攝像機模型 050
2.4　攝像機標定方法 053
2.4.1　標定方法分類 053
2.4.2　傳統標定方法 055
2.4.3　自標定方法 058
2.4.4　結構光主動視覺系統標定方法 061
2.4.5　在線攝像機外參數標定方法 066
參考文獻 069

第3章 深度圖像採集 071
3.1　深度圖像和深度成像 072
3.1.1　深度圖像 072
3.1.2　深度成像 074
3.2　直接深度成像 075
3.2.1　激光掃描介紹 075
3.2.2　飛行時間法 079
3.2.3　LiDAR 081
3.2.4　結構光法 082
3.2.5　莫爾等高條紋法 084
3.3　間接深度成像 087
3.3.1　雙目橫向模式 087
3.3.2　雙目會聚橫向模式 092
3.3.3　雙目軸向模式 095
3.4　單像素深度成像 097
3.4.1　單像素成像原理 097
3.4.2　單像素相機 098
3.4.3　單像素3D成像 100
3.5　生物視覺與立體視覺 102
3.5.1　生物視覺和雙目視覺 102
3.5.2　從單目到雙目立體 102
參考文獻 103

第4章 3D點雲數據採集及加工 105
4.1　點雲數據概況 106
4.1.1　點雲數據獲取方式 106
4.1.2　點雲數據類型 107
4.1.3　點雲數據加工任務 108
4.1.4　LiDAR測試數據集 109
4.2　點雲數據預處理 109
4.2.1　點雲數據補漏 110
4.2.2　點雲數據去噪 110
4.2.3　點雲數據地面區域濾波 111
4.2.4　點雲數據精簡/壓縮 112
4.2.5　多平臺點雲數據配準 114
4.2.6　點雲數據與影像數據配準 116
4.3　激光點雲3D建模 117
4.3.1　德勞內三角網法 117
4.3.2　面片擬合法 118
4.4　3D模型的紋理映射 121
4.4.1　顏色紋理映射法 121
4.4.2　幾何紋理映射法 123
4.4.3　過程紋理映射法 123
4.5　點雲特徵描述 124
4.5.1　全局特徵描述符和局部特徵描述符 124
4.5.2　3種局部特徵描述符 125
4.6　點雲理解與深度學習 126
4.7　仿生優化配準點雲 128
4.7.1　布穀鳥搜索 128
4.7.2　改進的布穀鳥搜索 129
4.7.3　點雲配準應用 131
參考文獻 132

第5章 雙目立體視覺 137
5.1　基於區域的雙目立體匹配 138
5.1.1　模板匹配 138
5.1.2　立體匹配 141
5.2　基於特徵的雙目立體匹配 147
5.2.1　基本步驟 147
5.2.2　尺度不變特徵變換 150
5.2.3　加速魯棒性特徵 152
5.2.4　動態規劃匹配 158
5.3　視差圖誤差檢測與校正 160
5.3.1　誤差檢測 160
5.3.2　誤差校正 161
5.4　基於深度學習的立體匹配 163
5.4.1 立體匹配網絡 163
5.4.2　基於特徵級聯CNN的匹配 165
參考文獻 166

第6 章 多目立體視覺 170
6.1　水平多目立體匹配 171
6.1.1　多目圖像和SSD 171
6.1.2　倒距離和SSSD 173
6.2　正交三目立體匹配 175
6.2.1　正交三目 175
6.2.2　基於梯度分類的正交匹配 180
6.3　多目立體匹配 184
6.3.1 任意排列三目立體匹配 185
6.3.2　正交多目立體匹配 189
6.4　等基線多攝像機組 190
6.4.1　圖像採集 191
6.4.2　圖像合並方法 192
6.5　單攝像機多鏡反射折射系統 193
6.5.1　總體系統結構 194
6.5.2　成像和標定模型 195
參考文獻 196

第7 章 單目多圖像場景恢復 199
7.1　單目圖像場景恢復 200
7.2　由光照恢復形狀 201
7.2.1　物體亮度和圖像亮度 202
7.2.2　錶面反射特性和亮度 205
7.2.3　物體錶面朝向 207
7.2.4　反射圖和圖像亮度約束方程 209
7.2.5　圖像亮度約束方程求解 211
7.3　由運動恢復形狀 215
7.3.1　光流和運動場 215
7.3.2　光流場和光流方程 217
7.3.3　光流方程求解 219
7.3.4　光流與錶面取向 225
7.3.5　光流與相對深度 227
7.4　由分割輪廓恢復形狀 228
7.5　光度立體技術綜述 230
7.5.1　光源標定 230
7.5.2　非朗伯錶面反射模型 231
7.5.3　彩色光度立體 232
7.5.4　3D重建方法 233
7.6　基於GAN的光度立體 234
7.6.1　網絡結構 234
7.6.2　損失函數 235
參考文獻 236

第8章 單目單圖像場景恢復 241
8.1　由影調恢復形狀 242
8.1.1　影調與形狀 242
8.1.2　圖像亮度方程求解 245
8.2　由紋理恢復形狀 251
8.2.1　單目成像和紋理畸變 252
8.2.2　由紋理變化恢復錶面朝向 254
8.2.3　紋理消失點檢測 260
8.3　由焦距確定深度 265
8.4　根據三點透視估計位姿 267
8.4.1　三點透視問題 267
8.4.2　迭代求解 268
8.5　混合錶面透視投影下的由影調恢復形狀 269
8.5.1　改進的Ward反射模型 269
8.5.2　透視投影下的圖像亮度約束方程 270
8.5.3　圖像亮度約束方程求解 272
8.5.4　基於Blinn-Phong反射模型的方程 273
8.5.5　新圖像亮度約束方程求解 274
參考文獻 276

第9章 廣義匹配 278
9.1　匹配介紹 279
9.1.1　匹配策略 279
9.1.2　匹配算法分類 280
9.1.3　匹配評價 281
9.2　目標匹配 282
9.2.1　匹配的度量 282
9.2.2　對應點匹配 285
9.2.3　慣量等效橢圓匹配 286
9.3　動態模式匹配 288
9.3.1　匹配流程 288
9.3.2　絕對模式和相對模式 289
9.4　匹配和配準 291
9.4.1　配準的實現 291
9.4.2　基於特徵匹配的異構遙感圖像配準 293
9.4.3　基於空間關系推理的圖像匹配 294
9.5　關系匹配 295
9.6　圖同構匹配 298
9.6.1　圖論簡介 298
9.6.2　圖同構和匹配 301
9.7　線條圖標記和匹配 304
9.7.1　輪廓標記 304
9.7.2　結構推理 305
9.7.3　回朔標記 307
9.8　多模態圖像匹配 308
9.8.1　基於區域的技術 308
9.8.2　基於特徵的技術 310
參考文獻 312

第10章 同時定位和制圖 317
10.1　SLAM概況 318
10.1.1　激光SLAM 318
10.1.2　視覺SLAM 321
10.1.3　對比和結合 323
10.2　激光SLAM算法 324
10.2.1　Gmapping算法 324
10.2.2　Cartographer算法 326
10.2.3　LOAM算法 330
10.3　視覺SLAM算法 331
10.3.1　ORB-SLAM算法系列 331
10.3.2　LSD-SLAM算法 336
10.3.3　SVO算法 341
10.4　群體機器人和群體SLAM 343
10.4.1　群體機器人的特性 344
10.4.2　群體SLAM要解決的問題 344
10.5　SLAM的一些新動向 345
10.5.1　SLAM與深度學習的結合 345
10.5.2　SLAM與多智能體的結合 346
參考文獻 347

第11 章 時空行為理解 354
11.1　時空技術 355
11.1.1　新的研究領域 355
11.1.2　多個層次 356
11.2　動作分類和識別 357
11.2.1　動作分類 358
11.2.2　動作識別 360
11.3　主體與動作聯合建模 363
11.3.1　單標簽主體?動作識別 363
11.3.2　多標簽主體?動作識別 364
11.3.3　主體?動作語義分割 365
11.4　活動和行為建模 368
11.4.1　動作建模 369
11.4.2　活動建模和識別 373
11.4.3　基於關節點的行為識別 378
11.5　異常事件檢測 381
11.5.1　自動活動分析 381
11.5.2　異常事件檢測方法分類 383
11.5.3　基於捲積自編碼器的檢測 386
11.5.4　基於單類神經網絡的檢測 387
參考文獻 388
主題索引 392