Keras 與深度學習實戰

黄可坤，男，嘉应学院教授，现任数学学院院长。主要从事模式识别方面的研究，在IEEE TNNLS, TGRS, TIP, TCYB等国际一流期刊发表论文20多篇，主持2项深度学习相关的国家自然科学基金项目。主讲《深度学习》《模式识别》《数学建模》等课程。被评为全国数学建模竞赛优秀指导教师，广东省南粤优秀教师，梅州市最美科技工作者等。

张良均 资深大数据专家，广东泰迪智能科技股份有限公司董事长，国家科技部入库技术专家，教育部全国专业学位水平评估专家，工信部教育与考试中心入库专家，中国工业与应用数学学会理事，广东省工业与应用数学学会副理事长，广东省高等职业教育教学指导委员会委员，华南师范大学、中南财经政法大学等40余所高校校外硕导或兼职教授，泰迪杯全国数据挖掘挑战赛发起人。 曾在国内外重要学术刊物上发表学术论文10余篇，主导编写图书专著60余部，其中获普通高等教育“十一五”规划教材一部，“十三五”职业教育国家规划教材一部；参与标准建设4项，主持国家级课题1项、省部级课题4项。获得SAS、SPSS数据挖掘认证及Hadoop开发工程师证书，具有信访、电力、电信、银行、制造企业、电子商务和电子政务的项目经验和行业背景，并荣获中国产学研合作促进奖、中国南方电网公司发明专利一等奖、广东省农业技术推广二等奖、广州市荔湾区科学技术进步奖。

第 1章　深度學習概述　1

1.1　深度學習簡介　1

1.1.1　深度學習的定義　1

1.1.2　深度學習常見應用　2

1.2　深度學習與應用領域　9

1.2.1　深度學習與電腦視覺　9

1.2.2　深度學習與自然語言處理　10

1.2.3　深度學習與語音識別　11

1.2.4　深度學習與機器學習　11

1.2.5　深度學習與人工智能　12

1.3　Keras簡介　13

1.3.1　各深度學習框架對比　13

1.3.2　Keras與TensorFlow的關系　15

1.3.3　Keras常見接口　15

1.3.4　Keras特性　17

1.3.5　Keras安裝　17

1.3.6　Keras中的預訓練模型　20

小結　22

課後習題　23

第　2章 Keras深度學習通用流程　24

2.1　基於全連接網絡的手寫數字識別實例　24

2.2　數據加載與預處理　28

2.2.1　數據加載　28

2.2.2　數據預處理　31

2.3　構建網絡　39

2.3.1　模型生成　39

2.3.2　核心層　40

2.3.3　自定義層　47

2.4　訓練網絡　51

2.4.1　優化器　51

2.4.2　損失函數　54

2.4.3　訓練方法　60

2.5　性能評估　64

2.5.1　性能監控　64

2.5.2　回調檢查　69

2.6　模型的保存與加載　77

實訓1　利用Keras進行數據加載與增強　79

實訓2　利用Keras構建網絡並訓練　80

小結　80

課後習題　81

第3章　Keras深度學習基礎　82

3.1　捲積神經網絡基礎　82

3.1.1　捲積神經網絡中的常用網絡層　83

3.1.2　基於捲積神經網絡的手寫數字識別實例　96

3.1.3　常用捲積神經網絡算法及其結構　99

3.2　循環神經網絡　106

3.2.1　循環神經網絡中的常用網絡層　108

3.2.2　基於循環神經網絡和Self Attention網絡的新聞摘要分類實例　123

3.3　生成對抗網絡　131

3.3.1　常用生成對抗網絡算法及其結構　131

3.3.2　基於生成對抗網絡的手寫數字生成實例　135

實訓1　捲積神經網絡　150

實訓2　循環神經網絡　151

實訓3　生成對抗網絡　151

小結　152

課後習題　152

第4章　基於RetinaNet的目標檢測　154

4.1　算法簡介與目標分析　154

4.1.1　背景介紹　154

4.1.2　目標檢測算法概述　155

4.1.3　目標檢測相關理論介紹　156

4.1.4　分析目標　158

4.1.5　項目工程結構　158

4.2　數據準備　159

4.2.1　數據集下載　159

4.2.2　圖像預處理　160

4.2.3　數據集編碼　166

4.2.4　數據集管道設置　171

4.3　構建網絡　171

4.3.1　RetinaNet的網絡結構　172

4.3.2　構建RetinaNet　173

4.4　訓練網絡　177

4.4.1　定義損失函數　177

4.4.2　訓練網絡　180

4.4.3　加載模型測試點　181

4.5　模型預測　182

4.5.1　進行解碼與非極大值抑制處理　182

4.5.2　預測結果　184

實訓　使用VOC2007數據集訓練和測試RetinaNet　186

小結　186

課後習題　186

第5章　基於LSTM網絡的詩歌生成　187

5.1　目標分析　187

5.1.1　背景介紹　187

5.1.2　分析目標　188

5.1.3　項目工程結構　189

5.2　文本預處理　189

5.2.1　標識詩句結束點　189

5.2.2　去除低頻詞　190

5.2.3　構建映射　191

5.3　構建網絡　191

5.3.1　設置配置項參數　191

5.3.2　生成訓練數據　192

5.3.3　構建LSTM網絡　194

5.4　訓練網絡　194

5.4.1　查看學習情況　194

5.4.2　生成詩句　195

5.4.3　訓練網絡　196

5.5　結果分析　197

實訓　基於LSTM網絡的文本生成　199

小結　199

課後習題　199

第6章　基於CycleGAN的圖像風格轉換　200

6.1　目標分析　200

6.1.1　背景介紹　200

6.1.2　分析目標　201

6.1.3　項目工程結構　201

6.2　數據準備　203

6.3　構建網絡　205

6.3.1　定義恆等映射網絡函數　206

6.3.2　定義殘差網絡函數　207

6.3.3　定義生成器函數　208

6.3.4　定義判別器函數　211

6.4　訓練網絡　212

6.4.1　定義訓練過程函數　212

6.4.2　定義生成圖像函數　214

6.5　結果分析　215

實訓　基於CycleGAN實現莫奈畫作與現實風景圖像的風格轉換　217

小結　217

課後習題　218

第7章　基於TipDM大數據挖掘建模平臺實現詩歌生成　219

7.1　平臺簡介　219

7.1.1　共享庫　220

7.1.2　數據連接　220

7.1.3　數據集　221

7.1.4　我的工程　222

7.1.5　個人組件　224

7.2　實現詩歌生成　224

7.2.1　配置數據源　225

7.2.2　文本預處理　227

7.2.3　構建網絡　227

7.2.4　訓練網絡　230

7.2.5　結果分析　234

實訓　實現基於TipDM大數據挖掘模平臺的文本生成　235

小結　236

課後習題　236