Keras 與深度學習實戰

黃可坤，男，嘉應學院教授，現任數學學院院長。主要從事模式識別方面的研究，在IEEE TNNLS, TGRS, TIP, TCYB等國際一流期刊發表論文20多篇，主持2項深度學習相關的國家自然科學基金項目。主講《深度學習》《模式識別》《數學建模》等課程。被評為全國數學建模競賽優秀指導教師，廣東省南粵優秀教師，梅州市最美科技工作者等。

張良均 資深大數據專家，廣東泰迪智能科技股份有限公司董事長，國家科技部入庫技術專家，教育部全國專業學位水平評估專家，工信部教育與考試中心入庫專家，中國工業與應用數學學會理事，廣東省工業與應用數學學會副理事長，廣東省高等職業教育教學指導委員會委員，華南師範大學、中南財經政法大學等40餘所高校校外碩導或兼職教授，泰迪杯全國數據挖掘挑戰賽發起人。 曾在國內外重要學術刊物上發表學術論文10餘篇，主導編寫圖書專著60餘部，其中獲普通高等教育“十一五”規劃教材一部，“十三五”職業教育國家規劃教材一部；參與標準建設4項，主持國家級課題1項、省部級課題4項。獲得SAS、SPSS數據挖掘認證及Hadoop開發工程師證書，具有信訪、電力、電信、銀行、製造企業、電子商務和電子政務的項目經驗和行業背景，並榮獲中國產學研合作促進獎、中國南方電網公司發明專利一等獎、廣東省農業技術推廣二等獎、廣州市荔灣區科學技術進步獎。

第 1章　深度學習概述　1

1.1　深度學習簡介　1

1.1.1　深度學習的定義　1

1.1.2　深度學習常見應用　2

1.2　深度學習與應用領域　9

1.2.1　深度學習與電腦視覺　9

1.2.2　深度學習與自然語言處理　10

1.2.3　深度學習與語音識別　11

1.2.4　深度學習與機器學習　11

1.2.5　深度學習與人工智能　12

1.3　Keras簡介　13

1.3.1　各深度學習框架對比　13

1.3.2　Keras與TensorFlow的關系　15

1.3.3　Keras常見接口　15

1.3.4　Keras特性　17

1.3.5　Keras安裝　17

1.3.6　Keras中的預訓練模型　20

小結　22

課後習題　23

第　2章 Keras深度學習通用流程　24

2.1　基於全連接網絡的手寫數字識別實例　24

2.2　數據加載與預處理　28

2.2.1　數據加載　28

2.2.2　數據預處理　31

2.3　構建網絡　39

2.3.1　模型生成　39

2.3.2　核心層　40

2.3.3　自定義層　47

2.4　訓練網絡　51

2.4.1　優化器　51

2.4.2　損失函數　54

2.4.3　訓練方法　60

2.5　性能評估　64

2.5.1　性能監控　64

2.5.2　回調檢查　69

2.6　模型的保存與加載　77

實訓1　利用Keras進行數據加載與增強　79

實訓2　利用Keras構建網絡並訓練　80

小結　80

課後習題　81

第3章　Keras深度學習基礎　82

3.1　捲積神經網絡基礎　82

3.1.1　捲積神經網絡中的常用網絡層　83

3.1.2　基於捲積神經網絡的手寫數字識別實例　96

3.1.3　常用捲積神經網絡算法及其結構　99

3.2　循環神經網絡　106

3.2.1　循環神經網絡中的常用網絡層　108

3.2.2　基於循環神經網絡和Self Attention網絡的新聞摘要分類實例　123

3.3　生成對抗網絡　131

3.3.1　常用生成對抗網絡算法及其結構　131

3.3.2　基於生成對抗網絡的手寫數字生成實例　135

實訓1　捲積神經網絡　150

實訓2　循環神經網絡　151

實訓3　生成對抗網絡　151

小結　152

課後習題　152

第4章　基於RetinaNet的目標檢測　154

4.1　算法簡介與目標分析　154

4.1.1　背景介紹　154

4.1.2　目標檢測算法概述　155

4.1.3　目標檢測相關理論介紹　156

4.1.4　分析目標　158

4.1.5　項目工程結構　158

4.2　數據準備　159

4.2.1　數據集下載　159

4.2.2　圖像預處理　160

4.2.3　數據集編碼　166

4.2.4　數據集管道設置　171

4.3　構建網絡　171

4.3.1　RetinaNet的網絡結構　172

4.3.2　構建RetinaNet　173

4.4　訓練網絡　177

4.4.1　定義損失函數　177

4.4.2　訓練網絡　180

4.4.3　加載模型測試點　181

4.5　模型預測　182

4.5.1　進行解碼與非極大值抑制處理　182

4.5.2　預測結果　184

實訓　使用VOC2007數據集訓練和測試RetinaNet　186

小結　186

課後習題　186

第5章　基於LSTM網絡的詩歌生成　187

5.1　目標分析　187

5.1.1　背景介紹　187

5.1.2　分析目標　188

5.1.3　項目工程結構　189

5.2　文本預處理　189

5.2.1　標識詩句結束點　189

5.2.2　去除低頻詞　190

5.2.3　構建映射　191

5.3　構建網絡　191

5.3.1　設置配置項參數　191

5.3.2　生成訓練數據　192

5.3.3　構建LSTM網絡　194

5.4　訓練網絡　194

5.4.1　查看學習情況　194

5.4.2　生成詩句　195

5.4.3　訓練網絡　196

5.5　結果分析　197

實訓　基於LSTM網絡的文本生成　199

小結　199

課後習題　199

第6章　基於CycleGAN的圖像風格轉換　200

6.1　目標分析　200

6.1.1　背景介紹　200

6.1.2　分析目標　201

6.1.3　項目工程結構　201

6.2　數據準備　203

6.3　構建網絡　205

6.3.1　定義恆等映射網絡函數　206

6.3.2　定義殘差網絡函數　207

6.3.3　定義生成器函數　208

6.3.4　定義判別器函數　211

6.4　訓練網絡　212

6.4.1　定義訓練過程函數　212

6.4.2　定義生成圖像函數　214

6.5　結果分析　215

實訓　基於CycleGAN實現莫奈畫作與現實風景圖像的風格轉換　217

小結　217

課後習題　218

第7章　基於TipDM大數據挖掘建模平臺實現詩歌生成　219

7.1　平臺簡介　219

7.1.1　共享庫　220

7.1.2　數據連接　220

7.1.3　數據集　221

7.1.4　我的工程　222

7.1.5　個人組件　224

7.2　實現詩歌生成　224

7.2.1　配置數據源　225

7.2.2　文本預處理　227

7.2.3　構建網絡　227

7.2.4　訓練網絡　230

7.2.5　結果分析　234

實訓　實現基於TipDM大數據挖掘模平臺的文本生成　235

小結　236

課後習題　236