高效捲積神經網絡的結構設計與優化
丁霄漢
買這商品的人也買了...
-
$1,100$1,078 -
$1,045The 8051 Microcontroller and Embedded Systems, 2/e (IE-Paperback)
-
$580$568 -
$653深度學習、優化與識別 (Deep Learning,Optimization and Recognition)
-
$580$568 -
$1,420$1,392 -
$396$376 -
$1,320$1,294 -
$403無人駕駛:人工智能如何顛覆汽車
-
$417數字濾波器的 MATLAB 與 FPGA 實現 — Altera / Verilog 版, 2/e
-
$594$564 -
$414$393 -
$449深度學習之模型設計:核心算法與案例實踐
-
$359$341 -
$1,194$1,134 -
$768$730 -
$648$616 -
$296自動駕駛停車位檢測技術
-
$594$564 -
$414$393 -
$708$673 -
$454面向自動駕駛的交通標識視覺感知
-
$254最優化理論與方法
相關主題
商品描述
"隨著深度學習相關技術的發展,特別是捲積神經網絡技術的成熟,深度學習已經成為多種電腦視覺任務的常用工具。捲積神經網絡模型由於其強大的表徵能力,可以作為一種優秀主乾模型,但往往以較大的參數量和計算量為代價。 本書從基本架構設計、新式通用組件、模型壓縮方法三個方面著手,試圖普遍地、一般地提升捲積神經網絡的精度和效率。書中介紹的方法與深度學習實踐聯系緊密:現實生活中的視覺應用一般要求在一定的推理延遲、吞吐量、模型大小和功耗的約束下盡可能追求更高的精度,所以開發者既可以應用一種新的架構,可以用一些新式組件來提升現有架構,亦可以對一個精度更高也更大的模型應用壓縮技術使之滿足既定的效率約束條件。本書聚焦基礎,所提出的“結構重參數化”理論、新式模型結構和模型壓縮方法可以廣泛用於多種模型和多種任務。 本書可為機器學習和電腦視覺領域的初學者和具備一定基礎的工程技術人員及研究人員提供參考。"
目錄大綱
目 錄
第 1 章 緒論 1
1.1 研究背景與意義 1
1.2 國內外研究現狀 5
1.2.1 基本架構設計 5
1.2.2 新式通用組件 7
1.2.3 通道剪枝方法 8
1.2.4 其他模型壓縮方法 9
1.3 研究內容和主要貢獻 10
1.3.1 基本架構設計 10
1.3.2 新式通用組件 11
1.3.3 通道剪枝方法 13
1.4 符號系統 14
1.5 本書的組織結構 15
第 2 章 基於結構重參數化的極簡架構 17
2.1 本章引言 17
2.2 相關工作 20
2.2.1 單路架構的訓練方法 20
2.2.2 重參數化 21
2.2.3 Winograd 捲積算法 21
2.3 結構重參數化 22
2.4 RepVGG:基於結構重參數化的極簡架構 26
2.4.1 效率分析 26
2.4.2 架構詳細定義 27
2.5 實驗分析 29
2.5.1 ImageNet 分類實驗 29
2.5.2 消融和對比實驗 31
2.5.3 語義分割實驗 33
2.6 本章小結 34
第 3 章 非對稱捲積模塊 36
3.1 本章引言 36
3.2 相關工作 38
3.2.1 非對稱捲積 38
3.2.2 多架構通用的基本組件 39
3.3 對捲積核內部空間位置的定量分析 39
3.4 非對稱捲積模塊 41
3.4.1 捲積的廣義可加性 41
3.4.2 非對稱捲積模塊的結構和轉換 43
3.5 實驗分析 45
3.5.1 CIFAR 實驗 45
3.5.2 ImageNet 實驗 45
3.5.3 消融實驗 47
3.5.4 ACB 捲積核的定量分析 48
3.6 本章小結 50
第 4 章 重參數化大捲積核模塊 51
4.1 本章引言 51
4.2 相關工作 53
4.2.1 單層大感受野模型 53
4.2.2 模型放大技術. 53
4.3 應用大捲積核的五條準則 53
4.4 RepLKB:一種大捲積核組件 58
4.5 實驗分析 59
4.5.1 RepLKNet 上增大捲積核尺寸的實驗 59
4.5.2 ImageNet 圖像分類 61
4.5.3 語義分割 62
4.5.4 目標檢測 62
4.6 討論 64
4.6.1 有效感受野 64
4.6.2 形狀偏好 65
4.7 本章小結 67
第 5 章 用於通道剪枝的向心隨機梯度下降算法 68
5.1 本章引言 68
5.2 相關工作 71
5.3 向心隨機梯度下降 72
5.3.1 通道剪枝的符號表示 72
5.3.2 C-SGD 更新規則 73
5.3.3 C-SGD 的直觀解釋 75
5.3.4 C-SGD 的高效實現 77
5.3.5 C-SGD 訓練後的剪枝重構 78
5.3.6 用 C-SGD 解決受約束剪枝問題 79
5.4 寬度濃縮:一種基於 C-SGD 的訓練方法論 83
5.5 實驗分析 84
5.5.1 CIFAR-10 剪枝實驗 84
5.5.2 ImageNet 剪枝實驗 88
5.5.3 語義分割和目標檢測 91
5.5.4 聚類方法研究 91
5.5.5 趨同與歸零冗餘模式的對比 92
5.5.6 C-SGD 與其他剪枝方法的嚴格對比 93
5.5.7 冗餘訓練與常規訓練的對比 95
5.5.8 “全局瘦身”和“局部裁剪”的對比 96
5.5.9 寬度濃縮 96
5.6 關於 C-SGD 效率的討論 98
5.7 本章小結 99
第 6 章 基於結構變換的高精度通道剪枝方法 100
6.1 本章引言 100
6.2 相關工作 104
6.3 ResRep. 104
6.3.1 Rep:捲積重參數化 104
6.3.2 Res:梯度重置 106
6.3.3 Res 和 Rep 的有機結合 108
6.4 實驗分析 109
6.4.1 ImageNet 和 CIFAR-10 剪枝實驗 109
6.4.2 基線和變體對比實驗 114
6.4.3 Res 和 Rep 的消融實驗 115
6.5 本章小結 117
第 7 章 總結與展望 118
7.1 工作總結 118
7.2 未來工作展望 119
參考文獻 121
在學期間完成的相關學術成果 139
致謝 141