深度學習案例實戰

趙衛東，復旦大學副教授，主要負責本科生和各類研究生機器學習、大數據核心技術和人工智能（機器學習）（商務數據分析）等課程的教學，2011年紐約大學訪問學者。人工智能（機器學習）被評為上海市精品課程以及CMOOC聯盟線上線下混合式教學改革項目，獲得2013年高等教育上海市教學成果獎二等獎。目前主要研究方向包括機器學習應用和大數據分析等。主持國家自然科學基金2項、國家重點研發計劃子課題、上海市浦江人才以及企業合作課題等30多項目。已在Knowledge and Information Systems ,Information Processing & Management，Information Systems Frontiers，Intelligent Data Analysis，Applied Intelligence等國內外刊物和學術會議發表論文100多篇。出版專著、教材《機器學習》《機器學習案例實戰》《Python機器學習實戰案例》等10多部。獲得上海市2015年上海市科技進步二等獎。CDA三級認證數據科學家，騰訊雲和百度雲機器學習認證講師。

第　1章 低代碼開發和加速平臺　1

1.1　深度學習實戰項目需求　1

1.2　ModelScope簡介　2

1.3　OpenVINO簡介　4

思考題　8

第　2章 太陽黑子智能分類　9

2.1　背景分析　9

2.2　數據準備　9

2.3　數據預處理　10

2.3.1　圖像融合　11

2.3.2　數據增強　12

2.3.3　數據集劃分　13

2.4　深度捲積網絡分類模型　16

2.4.1基礎網絡　16

2.4.2　網絡輸出層設計　17

2.4.3　學習率衰減　17

2.4.4　模型訓練　18

2.4.5　實驗評估　19

2.5　基於Conformer的圖片分類模型　20

2.5.1　Conformer模型介紹　20

2.5.2　模型構建　21

2.5.3　訓練過程　22

2.5.4　模型優化　24

2.5.5　模型評估　26

思考題　28

第3章　氣象預測　29

3.1數據準備　29

3.2數據可視化　31

3.3數據預處理　31

3.4使用捲積神經網絡進行預測　32

3.4.1　搭建inception網絡　33

3.4.2　訓練過程　34

3.5基於孿生捲積網絡的預測　36

3.5.1　搭建孿生inception網絡　37

3.5.2　訓練過程　38

3.6使用循環神經網絡進行預測　39

3.6.1　搭建循環神經網絡模塊　39

3.6.2　訓練過程　40

3.7結合循環神經網絡與捲積神經網絡的方法訓練　41

3.7.1　搭建Inception-LSTM網絡　42

3.7.2　訓練過程　43

思考題　44

第4章　食物咀嚼聲音分類　45

4.1數據預處理　45

4.1.1音頻加載　45

4.1.2對低層特徵的提取　45

4.1.3　MFCC和Mel頻譜特徵提取　46

4.1.4心理聲學特徵tonnetz和chroma提取　46

4.2　VGG網絡訓練　47

4.3　VGG模型的改進　50

4.3.1數據集的清理　50

4.3.2清理數據集的構建　51

思考題　52

第5章　智能廚房　53

5.1數據採集與預處理　53

5.2　遷移學習準備　57

5.3　YOLOv5模型配置　57

5.4　YOLOv5模型訓練　60

5.5　使用OpenVINO加速YOLOv5模型　62

思考題　66

第6章　智能冰箱食材識別　67

6.1問題分析　67

6.2數據預處理　67

6.2.1數據探索　68

6.2.2　數據集轉換　68

6.2.3數據集分割　69

6.2.4數據增強　70

6.3　YOLOX模型訓練和優化　70

6.3.1　模型選擇　71

6.3.2模型訓練　71

6.3.3模型轉換　72

6.4使用OpenVINO進行優化和推理　73

6.4.1　OpenVINO模型優化　73

6.4.2　OpenVINO推理　73

6.4.3性能對比　74

6.4.4存取動作判斷　75

思考題　76

第7章　集體照人臉識別　77

7.1　數據集的準備　77

7.2數據預處理　78

7.2.1數據劃分　78

7.2.2數據集格式轉換　79

7.2.3創建ModelScope數據集　80

7.3　DamoFD模型訓練　81

7.3.1模型微調　81

7.3.2創建ModelScope模型　82

7.3.3集體照人臉識別　83

7.4模型ModelScope創空間發布　85

思考題　88

第8章　遛狗牽繩智能檢測　89

8.1　數據準備　89

8.2　數據預處理　92

8.3　DAMO-YOLO模型訓練　93

8.4　DAMO-YOLO模型的推理應用　95

思考題　97

第9章　智能藥品識別　98

9.1　數據收集　98

9.2　數據預處理　98

9.3　數據集統計　102

9.4　YOLOv5算法訓練和優化　102

9.5　模型轉換和推理　104

9.6　新增藥品管理　106

思考題　108

第　10章 道路裂紋檢測　109

10.1數據準備　109

10.2　數據預處理　110

10.3　Cascade-Mask-RCNN-Swin網絡訓練和優化　112

10.4　Cascade-Mask-RCNN-Swin推理　116

思考題　118

第　11章 課堂學生行為檢測　119

11.1　數據準備　119

11.1.1　數據獲取　119

11.1.2　數據標註　120

11.1.3　數據預處理　122

11.2　DAMO-YOLO模型訓練　125

11.3　DAMO-YOLOs模型推理　126

思考題　127

第　12章 水邊垂釣行為檢測　128

12.1　數據採集與預處理　128

12.1.1　數據劃分和標註　129

12.1.2　標註數據的格式轉換　130

12.1.3標簽文件重新生成　133

12.1.4數據增強　133

12.2　數據預處理　134

12.3　默認訓練參數　135

12.4　模型訓練與參數優化　135

12.4.1數據增強實驗　137

12.4.2　模型精調與性能優化　139

12.4.3　訓練策略調整　139

12.5　模型測試　140

12.6　總結　142

思考題　142

第　13章 主副駕駛安全帶檢測　143

13.1數據集的準備　143

13.2　數據增強　146

13.3模型訓練　147

13.4　使用ModelScope框架實現模型　149

13.5　在Openvino平臺加速模型　150

13.6　結論　153

思考題　153