深度學習嵌入式應用開發：基於 RK3399Pro 和 RK3588

王日海(博士)，浙江大學副研究員，浙江大學-瑞芯微電子聯合技術中心副主任，浙江大學紹興研究院微電子中心副主任。主要從事訊號處理與多媒體智慧方向的研究，參與及承擔國家重點研發計劃、國家自然基金以及企事業單位聯合項目20餘項，在CVPR、ICASSP、lNTERSPEECH等國際頂級會議及期刊上發表相關論文20餘篇，獲得發明專利10餘項。 2016年建立浙江大學一瑞芯微電子聯合技術中心，組織進行機器視覺、RGB—IR影像處理、音訊降噪、類比電源、氮化鎵功率芯片等訊號處理與芯片方向的研發項目，與瑞芯微建立了非常深入的研發合作關係。基於瑞芯微RK3399Pro人工智能芯片，開發了布匹瑕疵檢測、自動扶梯安全檢測、音訊降噪、口語評測等AI演算法與系統，對人工智能演算法特別是音視頻智慧處理在嵌入式系統上的部署與應用有豐富的經驗。

前言
第1章深度學習基礎 1
1.1 深度學習的現實應用 2
1.1.1 計算機視覺 2
1.1.2 自然語言處理 2
1.1.3 系統 3
1.1.4 語音處理 3
1.1.5 其他領域 3
1.2 回歸問題和分類問題 4
1.2.1 線性回歸 5
1.2.2 Softmax分類 6
1.3 梯度下降算法 8
1.3.1 優化算法概述 8
1.3.2 隨機梯度下降算法10
1.3.3 小批量梯度下降算法13
1.3.4 Momentum梯度下降
算法14
1.3.5 Adam優化算法15
1.4 神經網絡16
1.4.1 神經網絡的表示16
1.4.2 激活函數及其導數19
1.4.3 前向傳播和反向傳播23
1.4.4 神經網絡的梯度下降26
1.5 本章小結27
第2章捲積神經網絡28
2.1 捲積基礎知識28
2.1.1 捲積操作29
2.1.2 池化33
2.1.3 捲積的變種34
2.2 深度捲積神經網絡37
2.2.1 捲積神經網絡的整體
結構37
2.2.2 殘差結構和1×1捲積38
2.2.3 經典捲積網絡41
2.3 捲積神經網絡的應用44
2.3.1 圖像分類44
2.3.2 目標檢測45
2.3.3 其他應用49
2.4 本章小結49
第3章循環神經網絡50
3.1 深度循環神經網絡50
3.1.1 循環神經網絡概述51
3.1.2 基於時間的反向傳播52
3.1.3 循環神經網絡的長期依賴
問題54
3.2 循環神經網絡變體55
3.2.1 長短時記憶網絡55
3.2.2 門控循環神經網絡60
3.3 序列模型和註意力機制61
3.3.1 Seq2Seq序列模型62
3.3.2 註意力機制64
3.3.3 Transformer結構69
3.4 循環神經網絡的應用74
3.4.1 自然語言處理74
3.4.2 語音識別84
3.4.3 喚醒詞檢測87
3.5 本章小結88
第4章深度神經網絡的訓練90
4.1 深度學習的學習策略90
4.1.1 數據集劃分和評估指標90
4.1.2 偏差、方差和誤差94
4.1.3 神經網絡的權重初始化95
4.2 深度學習的訓練技巧96
4.2.1 梯度消失和梯度爆炸96
4.2.2 正則化和隨機失活97
4.2.3 歸一化99
4.2.4 自適應學習率100
4.2.5 超參數優化101
4.3 改善模型表現102
4.3.1 解決數據不匹配問題102
4.3.2 遷移學習103
4.4 動手訓練神經網絡104
4.4.1 Jupyter Notebook的
使用104
4.4.2 訓練MNIST手寫數字識別模型106
4.4.3 TensorBoard的使用112
4.5 本章小結115
第5章RK3399Pro芯片功能與
架構116
5.1 RK3399Pro芯片的整體架構116
5.2 神經網絡處理單元121
5.2.1 神經網絡處理單元的
4個模塊122
5.2.2 RKNN-Toolkit開發
套件123
5.2.3 RKNN-API開發套件126
5.3 視頻處理單元126
5.4 圖形處理加速單元128
5.5 本章小結128
第6章TB-RK3399Pro開發板130
6.1 開發板硬件環境介紹130
6.1.1 硬件總覽130
6.1.2 硬件規格131
6.2 開發板開發環境搭建134
6.2.1 開發板的啟動和網絡
配置134
6.2.2 終端與軟件包安裝138
6.3 本章小結144
第7章基於TB-RK3399Pro進行捲積神經網絡實戰145
7.1 TB-RK3399Pro圖像採集145
7.1.1 原理145
7.1.2 實戰146
7.2 TB-RK3399Pro手寫數字
識別147
7.2.1 原理147
7.2.2 實戰150
7.3 TB-RK3399Pro YOLO目標
檢測152
7.3.1 原理153
7.3.2 實戰154
7.4 TB-RK3399Pro人臉識別156
7.4.1 原理156
7.4.2 實戰162
7.5 本章小結163
第8章TB-RK3399Pro神經網絡
運算加速165
8.1 神經網絡運算加速引擎介紹165
8.2 神經網絡模型部署和推理166
8.2.1 模型部署167
8.2.2 模型推理169
8.3 神經網絡模型量化170
8.4 本章小結173
第9章基於TB-RK3399Pro開發板進行循環神經網絡實戰174
9.1 TB-RK3399Pro開發板聲音
採集174
9.1.1 必備環境安裝174
9.1.2 聲音採集175
9.2 語音識別模型介紹176
9.2.1 特徵提取177
9.2.2 語音識別網絡180
9.2.3 評價指標182
9.3 TB-RK3399Pro語音識別
實戰182
9.3.1 實戰目的182
9.3.2 實戰數據182
9.3.3 實戰環境183
9.3.4 實戰步驟183
9.3.5 實戰結果187
9.4 本章小結188
第10章基於Rock-X API的深度
學習案例189
10.1 Rock-X SDK介紹189
10.2 Rock-X環境部署190
10.3 目標檢測190
10.4 車牌識別195
10.5 人體關鍵點檢測198
10.6 人臉關鍵點檢測201
10.7 手指關鍵點檢測205
10.8 人臉識別208
10.9 本章小結212
第11章TB-RK3588X開發板213
11.1 開發板硬件環境介紹213
11.1.1 產品簡介213
11.1.2 芯片架構215
11.1.3 系統框圖215
11.1.4 硬件規格216
11.2 開發板軟件開發介紹218
11.2.1 開機啟動218
11.2.2 固件升級218
11.2.3 搭建系統環境221
11.2.4 編譯配置221
11.2.5 鏡像編譯224
11.2.6 Linux系統下燒寫
鏡像225
11.2.7 Windows系統下燒寫
鏡像226
11.2.8 常見問題226
11.2.9 RKNN開髮指南226
11.3 本章小結227
參考文獻228