嵌入式深度學習：算法和硬件實現技術 Embedded Deep Learning: Algorithms, Architectures and Circuits for Always-on Neural Network Processing

Bert Moons

Synopsys公司硬件設計架構師，重點研究嵌入式深度學習應用的能量可擴展和運行時適應性數字電路。

譯者序
前言
致謝
縮寫詞
第1章 嵌入式深度神經網絡
1.1 簡介
1.2 機器學習
1.2.1 任務T
1.2.2 性能度量P
1.2.3 經驗E
1.3 深度學習
1.3.1 深度前饋神經網絡
1.3.2 卷積神經網絡
1.3.3 循環神經網絡
1.3.4 訓練深度神經網絡
1.4 嵌入式深度神經網絡的挑戰
1.5 本書創新點
參考文獻

第2章 優化的層次級聯處理
2.1 簡介
2.2 層次級聯繫統
2.2.1 泛化的兩級喚醒系統
2.2.2 層次化的代價、精度和召回率
2.2.3 層次化分類器的Roofline模型
2.2.4 優化的層次級聯感知
2.3 概念的一般性證明
2.3.1 系統描述
2.3.2 輸入統計
2.3.3 實驗
2.3.4 本節小結
2.4 案例研究：基於CNN的層次化人臉識別
2.4.1 人臉識別的分層結構
2.4.2 層次化的代價、精度和召回率
2.4.3 優化的人臉識別分層結構
2.5 小結
參考文獻

第3章 硬件一算法協同優化
3.1 簡介
3.1.1 利用網絡結構
3.1.2 增強並利用稀疏性
3.1.3 增強並利用容錯性
3.2 低精度神經網絡的能量增益
3.2.1 片外訪存的能耗
3.2.2 硬件平台的一般性建模
3.3 測試時定點神經網絡
3.3.1 分析和實驗
3.3.2 量化對分類準確率的影響
3.3.3 稀疏FPNN的能耗
3.3.4 結果
3.3.5 討論
3.4 訓練時量化神經網絡
3.4.1 訓練QNN
3.4.2 QNN的能耗
3.4.3 實驗
3.4.4 結果
3.4.5 討論
3.5 聚類神經網絡
3.6 小結
參考文獻

第4章 近似計算的電路技術
4.1 近似計算範式簡介
4.2 近似計算技術
4.2.1 容錯分析與質量管理
4.2.2 近似電路
4.2.3 近似架構
4.2.4 近似軟件
4.2.5 討論
4.3 DVAFS：動態電壓精度頻率調節
4.3.1 DVAFS基礎
4.3.2 DVAFS的容錯識別
4.3.3 DVAFS的能量增益
4.4 DVAFS的性能分析
4.4.1 模塊級的DVAFS
4.4.2 系統級的.DVAFS
4.5 DVAFS實現的挑戰
4.5.1 基礎DVA(F)S模塊的功能實現
4.5.2 基礎DVA(F)S模塊的物理實現
4.6 小結和討論
參考文獻

第5章 Envision：能耗可調節的稀疏卷積神經網絡處理
5.1 神經網絡加速
5.2 針對嵌入式CNN的二維MAC處理器架構
5.2.1 處理器數據通路
5.2.2 片上存儲架構
5.2.3 利用網絡稀疏性的硬件支持
5.2.4 通過定制化指令集實現高能效的靈活性
5.3 基於40nm CMOS的DVAS兼容的Envision處理器
5.3.1 RTL級的硬件支持
5.3.2 物理實現
5.3.3 測量結果
5.3.4 Envision Vl回顧
5.4 基於28nm FD-SOI的DVAFS兼容的Envision處理器
5.4.1 RTL級硬件支持
5.4.2 物理實現
5.4.3 測量結果
5.4.4 Envision V2回顧
5.5 小結
參考文獻

第6章 BinarEye：常開的數字及混合信號二值神經網絡處理
6.1 二值神經網絡
6.1.1 簡介
6.1.2 二值神經網絡層
6.2 二值神經網絡應用
6.3 可編程的輸入到標籤的加速器架構
6.3.1 256X：基礎的BinaryNet計算架構
6.3.2 SX：靈活的DVAFS BinaryNet計算架構
6.4 MSBNN：混合信號的256X實現
6.4.1 開關電容神經元陣列
6.4.2 測量結果
6.4.3 模擬信號通路代價
6.5 BinarEye：數字的SX實現
6.5.1 全數字的二值神經元
6.5.2 物理實現
6.5.3 測量結果
6.5.4 BinarEye中的DVAFS
6.5.5 與最先進水平的對比
6.6 數字與模擬二值神經網絡的實現對比
6.7 展望與未來工作
6.8 小結
參考文獻

第7章 結論、貢獻和未來工作
7.1 結論
7.2 未來工作的建議
參考文獻
索引