深度學習之人臉圖像處理：核心算法與案例實戰

言有三　真名龙鹏。2012年本科毕业于华中科技大学，后保研至中国科学院并于2015年毕业。先后在奇虎360人工智能研究院和陌陌深度学习实验室从事计算机视觉相关工作，积累了丰富的传统图像处理算法研究心得和深度学习项目实战经验。运营微信公众号“有三AI”和知识星球“有三AI”等社区，内容覆盖深度学习理论、深度学习开源框架、模型架构设计与优化，以及深度学习在计算机视觉和自然语言处理等领域的核心技术与应用，规划并总结了AI算法工程师的完整成长路线。出版了《深度学习之图像识别：核心技术与案例实战》与《深度

前言
第1章 人臉圖像與特徵基礎 1
1.1 人臉圖像基礎 1
1.1.1 人臉圖像的特點 1
1.1.2 人臉圖像的應用 2
1.2 人臉特徵基礎 2
1.2.1 幾何特徵 3
1.2.2 顏（膚）色特徵 3
1.2.3 紋理特徵 5
1.3 人臉圖像工程常用的機器學習算法 8
1.3.1 SVM簡介 8
1.3.2 AdaBoost簡介 12
第2章 深度學習基礎 15
2.1 神經網絡 15
2.1.1 神經元模型 15
2.1.2 感知機 16
2.1.3 BP算法 17
2.2 捲積神經網絡基礎 20
2.2.1 捲積操作 20
2.2.2 反捲積操作 21
2.2.3 捲積神經網絡的基本概念 22
2.2.4 捲積神經網絡的核心思想 24
2.2.5 捲積神經網絡基本結構配置 25
2.3 深度學習優化基礎 28
2.3.1 激活模型與常用激活函數 29
2.3.2 參數初始化方法 35
2.3.3 歸一化方法 37
2.3.4 池化 42
2.3.5 最優化方法 43
2.3.6 學習率策略 47
2.3.7 正則化方法 50
2.4 深度學習主流開源框架介紹 53
2.4.1 Caffe簡介 54
2.4.2 TensorFlow簡介 54
2.4.3 PyTorch簡介 55
2.4.4 Theano簡介 56
2.4.5 Keras簡介 56
2.4.6 MXNet簡介 57
2.4.7 Chainer簡介 57
參考文獻 58
第3章 人臉數據集 60
3.1 人臉檢測數據集 60
3.1.1 通用人臉檢測數據集 60
3.1.2 復雜人臉檢測數據集 62
3.2 關鍵點檢測數據集 63
3.3 人臉識別數據集 65
3.3.1 人臉識別圖像數據集 65
3.3.2 人臉識別視頻數據集 69
3.3.3 三維人臉識別數據集 69
3.3.4 人臉識別其他數據集 70
3.4 人臉屬性分析數據集 70
3.4.1 通用人臉屬性分析數據集 70
3.4.2 人臉表情數據集 71
3.4.3 人臉年齡與性別數據集 73
3.4.4 人臉分割數據集 74
3.4.5 人臉顏值數據集 76
3.4.6 人臉妝造數據集 76
3.5 人臉姿態與3D數據集 77
3.5.1 人臉姿態數據集 77
3.5.2 人臉三維重建數據集 78
3.6 人臉活體與偽造數據集 79
3.6.1 人臉活體數據集 79
3.6.2 人臉偽造數據集 81
3.7 人臉風格化數據集 81
第4章 人臉檢測 83
4.1 目標檢測基礎 83
4.1.1 目標檢測基本流程 83
4.1.2 選擇檢測窗口 84
4.1.3 提取圖像特徵 84
4.1.4 設計分類器 85
4.2 經典人臉檢測算法 86
4.2.1 人臉檢測問題 87
4.2.2 人臉膚色模型 87
4.2.3 人臉形狀模型與模板匹配 88
4.2.4 特徵分類算法 88
4.2.5 DPM方法 91
4.3 深度學習通用目標檢測方法 93
4.3.1 OverFeat方法 94
4.3.2 Selective search與R-CNN方法 94
4.3.3 SPPNet與Fast R-CNN方法 96
4.3.4 Faster R-CNN與R-FCN方法 99
4.3.5 YOLO方法 101
4.3.6 SSD方法 104
4.3.7 基於角點的檢測方法 105
4.3.8 目標檢測中的幾個關鍵技術和難點 106
4.4 深度學習人臉檢測核心技術 109
4.4.1 人臉組件算法 109
4.4.2 級聯檢測算法 110
4.4.3 多尺度人臉檢測算法 114
4.4.4 遮擋人臉檢測算法 118
4.4.5 活體與偽造人臉檢測算法 119
4.5 實戰Faster R-CNN人臉檢測 120
4.5.1 項目背景 120
4.5.2 py-faster-rcnn框架解讀 120
4.5.3 模型定義與分析 134
4.5.4 模型訓練 143
4.5.5 模型測試 144
參考文獻 146
第5章 人臉關鍵點檢測 149
5.1 關鍵點檢測基礎 149
5.1.1 關鍵點的定義 149
5.1.2 關鍵點的點數發展 150
5.1.3 關鍵點檢測算法評價 153
5.1.4 人臉姿態 154
5.2 傳統人臉關鍵點檢測方法 154
5.2.1 ASM、AAM與CLM算法 155
5.2.2 級聯形狀回歸算法 157
5.3 深度學習方法 158
5.3.1 級聯框架 158
5.3.2 多任務聯合框架 160
5.3.3 遮擋與大姿態問題 162
5.4 實時人臉關鍵點檢測實踐 163
5.4.1 數據集和基準模型 163
5.4.2 模型訓練 164
5.4.3 模型測試 169
5.5 小結 171
參考文獻 171
第6章 人臉識別 173
6.1 人臉識別基礎 173
6.1.1 人臉識別基本流程 173
6.1.2 人臉識別評估 173
6.1.3 傳統人臉識別特徵 174
6.2 深度學習人臉識別核心技術 177
6.2.1 度量學習 177
6.2.2 多類別分類學習 180
6.2.3 人臉分類優化目標的發展 182
6.3 人臉識別算法面臨的挑戰和未來 186
6.3.1 遮擋人臉識別 186
6.3.2 跨姿態人臉識別 187
6.3.3 跨年齡人臉識別 188
6.3.4 妝造不變人臉識別 189
6.3.5 異質源人臉識別 190
6.3.6 其他問題 190
6.3.7 小結 191
6.4 實戰人臉識別模型訓練 192
6.4.1 數據準備與接口封裝 192
6.4.2 模型訓練 198
6.4.3 模型測試 204
6.4.4 小結 208
參考文獻 208
第7章 人臉屬性識別 211
7.1 人臉性別識別 211
7.1.1 人臉性別識別方法 211
7.1.2 人臉性別識別發展與挑戰 212
7.2 人臉顏值與臉型識別 212
7.2.1 平均臉和臉型分類 212
7.2.2 人臉顏值與臉型特徵 213
7.2.3 應用和挑戰 214
7.3 人臉年齡識別 214
7.3.1 人臉年齡估計模型 215
7.3.2 傳統年齡估計方法 216
7.3.3 深度學習年齡估計方法 216
7.3.4 小結 218
7.4 人臉表情識別 218
7.4.1 概述 218
7.4.2 傳統表情識別算法 219
7.4.3 深度學習方法 221
7.4.4 挑戰與展望 222
7.5 人臉屬性識別項目實踐 223
7.5.1 表情識別 223
7.5.2 年齡識別 229
7.5.3 總結 233
參考文獻 234
第8章 人臉屬性分割 236
8.1 圖像分割的基礎與人臉屬性分割的應用 236
8.1.1 圖像分割的含義 236
8.1.2 經典的圖像分割方法 236
8.1.3 人臉屬性分割的應用 238
8.2 深度學習圖像分割核心技術 239
8.2.1 反捲積 239
8.2.2 圖像分割經典模型 241
8.2.3 感受野控制、上下文信息與多尺度結構 243
8.2.4 圖像分割後處理技術 246
8.2.5 圖像分割中的難題 247
8.3 輕量級人臉分割項目實踐 248
8.3.1 數據集與基準模型 249
8.3.2 模型訓練與測試 250
8.3.3 小結 254
參考文獻 255
第9章 人臉美顏與美妝 257
9.1 美顏基礎和應用場景 257
9.1.1 五官重塑 257
9.1.2 磨皮、美白與膚質調整 258
9.1.3 上妝 258
9.2 基於濾波與變形的傳統美顏算法 259
9.2.1 基於變形的五官重塑 259
9.2.2 基於濾波的磨皮算法 261
9.2.3 基於膚色模型的美白與膚質調整算法 263
9.2.4 小結 264
9.3 妝造遷移算法 264
9.3.1 傳統妝造遷移算法 264
9.3.2 深度學習算法 266
9.4 妝造遷移算法實戰 270
9.4.1 項目解讀 270
9.4.2 模型訓練 282
9.4.3 模型測試 284
參考文獻 286
第10章 人臉三維重建 287
10.1 三維重建基礎 287
10.1.1 常見三維重建技術 287
10.1.2 人臉三維重建的特點和難點 288
10.1.3 人臉三維重建基礎技術 289
10.2 傳統三維人臉重建技術 290
10.2.1 多目立體視覺匹配 290
10.2.2 3DMM 294
10.2.3 Shape from Shading 297
10.2.4 Structure from Motion 298
10.3 深度學習三維人臉重建 298
10.3.1 基於3DMM的方法 298
10.3.2 基於端到端的通用模型 300
10.3.3 三維人臉重建的難點 301
10.4 深度學習三維人臉重建實踐 302
10.4.1 BFM模型的使用 302
10.4.2 基於BFM模型的常見三維特徵 315
10.4.3 PRNet三維重建 318
10.4.4 小結 324
參考文獻 325
第11章 人臉屬性編輯 327
11.1 人臉屬性編輯基礎 327
11.1.1 人臉屬性編輯應用 327
11.1.2 基於模型的人臉編輯 329
11.2 深度學習人臉屬性編輯方法 329
11.2.1 GAN基礎 330
11.2.2 圖像風格化 334
11.2.3 表情編輯算法 336
11.2.4 年齡編輯算法 338
11.2.5 姿態編輯算法 339
11.2.6 人臉風格化算法 341
11.2.7 換臉算法 344
11.2.8 統一的人臉屬性編輯框架 345
11.2.9 小結 347
11.3 實戰人臉動畫頭像風格化 347
11.3.1 項目解讀 348
11.3.2 模型訓練 358
11.3.3 模型測試 358
參考文獻 361