Python 深度學習實戰 — 基於 Pytorch

呂雲翔，北京航空航天大學教師。
 比利時布魯塞爾大學應用科學學院應用信息技術專業碩士、經濟學院工商管理專業碩士。
具有多年的軟件開發、項目管理、計算機教學經驗。
對IT行業具有較全面的認識。
2003至今任北航軟件學院副教授。
研究領域包括：軟件工程 IT項目管理。

第 1 章 深度學習簡介　1
1．1　計算機視覺　1
1．1．1　定義　1
1．1．2　基本任務　1
1．1．3　傳統方法　2
1．1．4　仿生學與深度學習　3
1．1．5　現代深度學習　4
1．2　自然語言處理　7
1．2．1　自然語言處理的基本問題　7
1．2．2　傳統方法與神經網絡方法的比較　8
1．2．3　發展趨勢　9
1．3　強化學習　10
1．3．1　什麼是強化學習　10
1．3．2　強化學習算法簡介　12
1．3．3　強化學習的應用　12
1．4　本章小結　13

第　2 章 深度學習框架　14
2．1　Caffe　14
2．1．1　什麼是 Caffe　14
2．1．2　Caffe 的特點　14
2．1．3　Caffe 概述　15
2．2　TensorFlow　16
2．2．1　什麼是 TensorFlow　16
2．2．2　數據流圖　16
2．2．3　TensorFlow 的特點　17
2．2．4　TensorFlow 概述　17
2．3　PyTorch　20
2．3．1　什麼是 PyTorch　20
2．3．2　PyTorch 的特點　20
2．3．3　PyTorch 概述　20
2．4　三者的比較　22
2．5　本章小結　24

第　3 章 機器學習基礎知識　25
3．1　模型評估與模型參數選擇　25
3．1．1　驗證　26
3．1．2　正則化　26
3．2　監督學習與非監督學習　26
3．2．1　監督學習　27
3．2．2　非監督學習　28
3．3　本章小結　29

第　4 章 PyTorch 深度學習基礎　30
4．1　Tensor 對象及其運算　30
4．2　Tensor 的索引和切片　32
4．3　Tensor 的變換、拼接和拆分　33
4．4　PyTorch 的 Reduction 操作　35
4．5　PyTorch 的自動微分　36
4．6　本章小結　38

第　5 章 Logistic 回歸　39
5．1　線性回歸簡介　39
5．2　Logistic 回歸簡介　41
5．3　用 PyTorch 實現 Logistic 回歸　43
5．3．1　數據準備　43
5．3．2　線性方程　44
5．3．3　激活函數　45
5．3．4　損失函數　45
5．3．5　優化算法　47
5．3．6　模型可視化　47
5．4　本章小結　48
第　6 章 神經網絡基礎　49
6．1　基礎概念　49
6．2　感知器　52
6．2．1　單層感知器　52
6．2．2　多層感知器　53
6．3　BP 神經網絡　53
6．3．1　梯度下降　53
6．3．2　反向傳播　54
6．4　Dropout 正則化　55
6．5　Batch Normalization　56
6．5．1　Batch Normalization 的實現方式　57
6．5．2　Batch Normalization 的使用方法　58
6．6　本章小結　59

第　7 章 卷積神經網絡與計算機視覺　60
7．1　卷積神經網絡的基本思想　60
7．2　卷積操作　61
7．3　池化層　63
7．4　卷積神經網絡　64
7．5　經典網絡結構　64
7．5．1　VGG 網絡　64
7．5．2　InceptionNet　65
7．5．3　ResNet　66
7．6　用 PyTorch 進行手寫數字識別　67
7．7　本章小結　72

第　8 章 神經網絡與自然語言處理　73
8．1　語言建模　73
8．2　基於多層感知器的架構　75
8．3　基於循環神經網絡的架構　76
8．3．1　循環單元　77
8．3．2　通過時間反向傳播　77
8．3．3　帶有門限的循環單元　78
8．3．4　循環神經網絡語言模型　79
8．3．5　神經機器翻譯　80
8．4　基於卷積神經網絡的架構　83
8．5　基於 Transformer 的架構　85
8．5．1　多頭注意力　86
8．5．2　非參位置編碼　88
8．5．3　編碼器單元與解碼器單元　88
8．6　表示學習與預訓練技術　89
8．6．1　詞向量　90
8．6．2　加入上下文信息的特徵表示　91
8．6．3　網絡預訓練　92
8．7　本章小結　95

第　9 章 實戰：使用 PyTorch 實現
基於卷積神經網絡模型的圖像分類與數據可視化　96
9．1　卷積神經網絡模型　96
9．1．1　卷積神經網絡模型的發展　96
9．1．2　Tensorboard　97
9．2　卷積神經網絡模型與 Tensorboard實戰　97
9．2．1　FashionMNIST 數據集　97
9．2．2　數據準備與模型搭建　98
9．2．3　Tensorboard 的使用　100
9．3　本章小結　108

第　10 章 實戰：使用 PyTorch 實現基於textCNN的文本分類　109
10．1　文本分類常用的 Python 工具庫　109
10．2　數據集　110
10．3　算法模型　111
10．3．1　模型介紹　111
10．3．2　模型實現　114
10．3．3　模型結果　115
10．4　本章小結　115

第　11 章 實戰：使用 PyTorch 搭建卷積神經網絡進行音頻轉化　116
11．1　數據集準備　116
11．2　數據預處理　116
11．2．1　數據集讀取　116
11．2．2　音頻文件分段　117
11．2．3　CQT　118
11．3　模型構建　119
11．3．1　激活函數　119
11．3．2　模型分析　120
11．3．3　ReLU 激活函數的定義和實現． 120
11．3．4　flatten 函數平整層處理　121
11．3．5　sigmoid 激活函數　122
11．4　模型訓練與結果評估　122
11．4．1　adam 優化器　122
11．4．2　學習率策略定義　122
11．4．3　準確度驗證　123
11．4．4　訓練　124
11．5　本章小結　124

第　12 章 實戰：使用 PyTorch 實現YOLOv3 的驗證碼識別　125
12．1　YOLOv3　125
12．1．1　YOLOv3 概述　125
12．1．2　YOLOv3 與 PyTorch　125
12．1．3　YOLOv3 案例的意義　126
12．2　目標檢測案例：驗證碼中的簡單文字識別　126
12．2．1　YOLOv3 的安裝和文檔　126
12．2．2　訓練集的獲取和數據標註　126
12．2．3　模型訓練　128
12．2．4　模型的測試與預覽　128
12．3　YOLO 的其他拓展　129
12．4　本章小結　129

第　13 章 實戰：使用 PyTorch 實現基於預訓練模型的文本情感分析　130
13．1　模型介紹　130
13．1．1　預訓練模型　130
13．1．2　BERT　130
13．2　情感分類介紹　131
13．2．1　文本情感分析　131
13．2．2　BERT 情感分析原理簡析　131
13．3　環境搭建　131
13．3．1　環境選擇　132
13．3．2　Conda 簡介　133
13．3．3　Huggingface-Transformer 簡介　133
13．3．4　Huggingface-Transformer 下載　133
13．4　數據集獲取　133
13．5　模型微調　134
13．6　效果測評　136
13．7　本章小結　137

第　14 章 實戰：用 PyTorch 進行視頻處理　138
14．1　數據準備　138
14．2　數據預處理　139
14．2．1　數據集的讀取　139
14．2．2　視頻關鍵幀的提取　139
14．3　模型構建　140
14．3．1　ResNet-18 提取關鍵幀的特徵　141
14．3．2　L2 正則化關鍵幀特徵　142
14．3．3　視頻相似度匹配　142
14．3．4　幀級相似度匹配　143
14．4　模型訓練與結果評估　145
14．4．1　訓練函數的實現　145
14．4．2　訓練結果提交　146
14．5　本章小結　146

第　15 章 實戰：使用 PyTorch 在跨域數據集上進行圖像分類　147
15．1　遷移學習　147
15．2　跨域數據集　148
15．3　ResNet-50　149
15．4　案例分析　149
15．4．1　數據預處理　149
15．4．2　讀取數據　151
15．4．3　訓練　153
15．5　本章小結　154

第　16 章 實戰：使用 PyTorch 實現基於BERT的自動新聞文本分類　155
16．1　文本分類概述　155
16．2　BERT 簡介　156
16．3　數據預處理　158
16．4　模型實現　159
16．5　本章小結　160

附錄　A PyTorch 環境搭建　161
A． 1　Linux 平台下 PyTorch 環境搭建　161
A． 2　Windows 平台下 PyTorch 環境搭建． 163

附錄　B 深度學習的數學基礎　165
B． 1　線性代數　165
B． 2　概率論　172