飛槳PaddlePaddle深度學習實戰

劉祥龍

副教授，博士生導師，現任職於北京航空航天大學軟件開發環境國家重點實驗室，
主要研究大數據檢索、大規模視覺分析、可信賴深度學習等。
近年來，主持國家自然科學基金、國防科技創新重點項目、
科技創新2030人工智能重大項目等多項國家課題；發表人工智能領域國際頂ji會議及期刊論文60餘篇。 
Pattern Recognition等多個國際SCI期刊編委/客座編輯以及ACM MM 2019/2020等頂ji國際會議領域主席/高級程序委員等，
國家新一代人工智能產業技術創新戰略聯盟啟智開源開放平台技術委員會委員。
曾作為主要執筆人參與國家新一代人工智能實施建議、AI 2.0 國家戰略研究發展報告的撰寫。
獲陝西省自然科學一等獎、北京市科技新星、中國計算機學會優秀博士學位論文、
中國計算機學會首屆青年人才發展計劃等獎勵和榮譽。

楊晴虹

博士，中科院系列高級工程師，北航軟件學院人工智能專業主講教師，
美國南康涅狄格州立大學圖書信息科學訪問學者，美國耶魯大學技術創新實驗室數據分析專家。
發表國際論文幾十篇，主要研究領域有機器學習、知識挖掘、大數據分析、項目管理和科研管理等。
在機器學習、深度學習、神經網絡等領域有豐富的實踐經驗，曾主導和參與多個相關的項目並取得成功。

胡曉光

百度傑出研發架構師，10餘年自然語言處理研發經驗，參與的機器翻譯項目獲得國家科技進步二等獎，
現負責飛槳核心訓練框架和模型算法的研發，致力於打造最好用的深度學習平台。

於佃海

百度深度學習平台飛槳（PaddlePaddle）總架構師。
 2008年從北京大學畢業加入百度，長期從事機器學習、自然語言處理相關的技術研發和平台建設工作，
在國際學術會議發表論文十餘篇，作為骨干成員參與了國家973計劃、國家重點研發計劃、
科技創新2030等國家科技計劃的多個項目，曾獲中國電子學會科技進步一等獎、2019年CCF傑出工程師獎。

白浩傑

北航、大連理工特聘講師，百度認證深度學習佈道師，美國佛羅里達國際大學高性能數據實驗室訪問學者，
致力於移動對像數據庫、數據可視化、機器學習、深度學習等方向的研究。
鷗若教育人工智能主講教師，具有豐富的PaddlePaddle深度學習授課和實驗設計經驗。

目錄
序
前言
第一部分數學與編程基礎篇
第1章數學基礎與Python庫
1.1 Python是進行人工智能編程的主要語言
1.2數學基礎
1.2.1線性代數基礎
1.2.2微積分基礎
1.3 Python庫的操作
1.3.1 NumPy操作
1.3.2 Matplotlib操作
1.4本章小結

第2章深度學習概論與飛槳入門
2.1人工智能、機器學習和深度學習
2.1.1人工智能
2.1.2機器學習
2.1.3深度學習
2.2深度學習的發展歷程
2.2.1神經網絡的第一次高潮
2.2.2神經網絡的第一次寒冬
2.2.3神經網絡的第二次高潮
2.2.4神經網絡的第二次寒冬
2.2.5深度學習的來臨
2.2.6深度學習崛起的時代背景
2.3深度學習的應用場景
2.3.1圖像與視覺
2.3.2語音識別
2.3.3自然語言處理
2.3.4個性化推薦
2.4常見的深度學習網絡結構
2.4.1全連接網絡結構
2.4.2卷積神經網絡
2.4.3循環神經網絡
2.5機器學習回顧
2.5.1線性回歸的基本概念
2.5.2數據處理
2.5.3模型概覽
2.5.4效果展示
2.6深度學習框架簡介
2.6.1深度學習框架的優勢
2.6.2常見的深度學習框架
2.6. 3飛槳簡介
2.6.4飛槳安裝
2.6.5 AI Studio
2.7飛槳實現
2.8飛槳服務平台和工具組件
2.8.1 PaddleHub
2.8.2 X2Paddle
2.8.3 PARL
2.8.4 EasyDL
2.9本章小結

第二部分深度學習基礎篇
第3章深度學習的單層網絡
3.1 Logistic回歸模型
3.1.1 Logistic回歸概述
3.1.2損失函數
3.1.3 Logistic回歸的梯度下降
3.2實現Logistic回歸模型
3.2.1 NumPy版本
3.2 .2飛槳版本
3.3本章小結

第4章淺層神經網絡
4.1神經網絡
4.1.1神經網絡的定義及其結構
4.1.2神經網絡的計算
4.2 BP算法
4.2.1邏輯回歸與BP算法
4.2.2單樣本雙層神經網絡的BP算法
4.2.3多樣本神經網絡的BP算法
4.3 BP算法實踐
4.3.1 NumPy版本
4.3.2飛槳版本
4.4本章小結

第5章深層神經網絡
5.1深層網絡介紹
5.1.1深度影響算法能力
5.1.2網絡演化過程與常用符號
5.2傳播過程
5.2.1神經網絡算法核心思想
5.2.2深層網絡正向傳播過程
5.2.3深層網絡反向傳播過程
5.2.4傳播過程總結
5.3網絡的參數
5.4代碼實現
5.4.1 NumPy版本
5.4.2飛槳版本
5.5本章小結

第6章卷積神經網絡
6.1圖像分類問題描述
6.2卷積神經網絡介紹
6.2.1卷積層
6.2.2 ReLU激活函數
6.2.3池化層
6.2.4 Softmax分類層
6.2. 5主要特點
6.2.6經典神經網絡架構
6.3飛槳實現
6.3.1數據介紹
6.3.2模型概覽
6.3.3配置說明
6.4本章小結

第7章循環神經網絡
7.1任務描述
7.2循環神經網絡介紹
7.2.1長短期記憶網絡
7.2.2門控循環單元
7.2.3雙向循環神經網絡
7.2.4卷積循環神經網絡
7.3利用飛槳實現機器翻譯
7.3.1數據準備
7.3.2柱搜索
7.3.3模型配置
7.3.4模型訓練
7.3.5加載訓練模型進行預測
7.4本章小結

第8章註意力機制
8.1任務描述
8.2注意力機制介紹
8.2.1 Transformer
8.2.2 Non-local神經網絡
8.2.3 AttentionCluster神經網絡
8.3利用飛槳實現視頻分類
8.3.1 Non-local神經網絡
8.3.2 AttentionCluster
8.4本章小結

第9章算法優化
9.1基礎知識
9.1.1訓練、驗證和測試集
9.1.2偏差和方差
9.2評估
9.2.1選定評估目標
9.2.2迭代過程
9.2.3欠擬合和過擬合
9.3調優策略
9.3.1降低偏差
9.3.2降低方差
9.4超參數調優
9.4.1隨機搜索和網格搜索
9.4.2超參數範圍
9.4.3分階段搜索
9.4.4例子：對學習率的調整
9.5本章小結

第三部分飛槳實踐篇
第10章目標檢測
10.1任務描述
10.2常見模型解析
10.2.1 R-CNN系列
10.2.2 YOLO
10.2.3 SSD
10.3 PaddleDetection應用實踐
10.3.1 Faster-R-CNN
10.3.2 YOLOv
10.4本章小結

第11章圖像生成

11.1 任务描述 238
11.1.1 图像生成 238
11.1.2 图像–图像转换 239
11.1.3 文本–图像转换 239
11.2 模型概览 240
11.2.1 图像生成 240
11.2.2 图像–图像 241
11.2.3 文本–图像 246
11.3 PaddleGAN应用实践 248
11.3.1 数据准备 248
11.3.2 参数设置 248
11.3.3 网络结构定义 249
11.3.4 模型训练 253
11.3.5 模型测试 256
11.4 本章小结 257

第12章 情感分析 258
12.1 任务描述 258
12.2 算法原理解析 259
12.2.1 BOW 259
12.2.2 DB-LSTM 259
12.3 情感分析应用实践 261
12.3.1 数据集下载 261
12.3.2 配置模型 262
12.3.3 训练模型 268
12.4 本章小结 273

第13章 机器翻译 274
13.1 任务描述 274
13.2 算法原理解析 275
13.2.1 Seq2Seq 275
13.2.2 Transformer 276
13.3 机器翻译应用实践 287
13.3.1 数据准备 287
13.3.2 模型配置 287
13.3.3 模型训练 289
13.3.4 模型测试 291
13.3.5 模型评估 292
13.4 本章小结 292

第14章 语义表示 293
14.1 任务描述 293
14.2 常见模型解析 294
14.2.1 ELMo 294
14.2.2 ERNIE 296
14.3 ERNIE应用实践 300
14.3.1 数据准备 301
14.3.2 模型配置 301
14.3.3 模型训练 302
14.3.4 模型评估 305
14.4 本章小结 305

第15章 个性化推荐 306
15.1 问题描述 306
15.2 传统推荐方法 307
15.2.1 基于内容的推荐 307
15.2.2 协同过滤推荐 309
15.2.3 混合推荐 310
15.3 深度学习推荐方法 310
15.3.1 YouTube的深度神经网络推荐系统 310
15.3.2 融合推荐系统 312
15.4 个性化推荐系统在飞桨上的实现 315
15.4.1 数据准备 315
15.4.2 模型设计 332
15.4.3 模型训练 358
15.4.4 保存特征 363
15.4.5 模型测试 364
15.5 本章小结 373