高效捲積神經網絡的結構設計與優化
丁霄漢
相關主題
商品描述
目錄大綱
目 錄
第 1 章 緒論 1
1.1 研究背景與意義 1
1.2 國內外研究現狀 5
1.2.1 基本架構設計 5
1.2.2 新式通用組件 7
1.2.3 通道剪枝方法 8
1.2.4 其他模型壓縮方法 9
1.3 研究內容和主要貢獻 10
1.3.1 基本架構設計 10
1.3.2 新式通用組件 11
1.3.3 通道剪枝方法 13
1.4 符號系統 14
1.5 本書的組織結構 15
第 2 章 基於結構重參數化的極簡架構 17
2.1 本章引言 17
2.2 相關工作 20
2.2.1 單路架構的訓練方法 20
2.2.2 重參數化 21
2.2.3 Winograd 捲積算法 21
2.3 結構重參數化 22
2.4 RepVGG：基於結構重參數化的極簡架構 26
2.4.1 效率分析 26
2.4.2 架構詳細定義 27
2.5 實驗分析 29
2.5.1 ImageNet 分類實驗 29
2.5.2 消融和對比實驗 31
2.5.3 語義分割實驗 33
2.6 本章小結 34
第 3 章 非對稱捲積模塊 36
3.1 本章引言 36
3.2 相關工作 38
3.2.1 非對稱捲積 38
3.2.2 多架構通用的基本組件 39
3.3 對捲積核內部空間位置的定量分析 39
3.4 非對稱捲積模塊 41
3.4.1 捲積的廣義可加性 41
3.4.2 非對稱捲積模塊的結構和轉換 43
3.5 實驗分析 45
3.5.1 CIFAR 實驗 45
3.5.2 ImageNet 實驗 45
3.5.3 消融實驗 47
3.5.4 ACB 捲積核的定量分析 48
3.6 本章小結 50
第 4 章 重參數化大捲積核模塊 51
4.1 本章引言 51
4.2 相關工作 53
4.2.1 單層大感受野模型 53
4.2.2 模型放大技術. 53
4.3 應用大捲積核的五條準則 53
4.4 RepLKB：一種大捲積核組件 58
4.5 實驗分析 59
4.5.1 RepLKNet 上增大捲積核尺寸的實驗 59
4.5.2 ImageNet 圖像分類 61
4.5.3 語義分割 62
4.5.4 目標檢測 62
4.6 討論 64
4.6.1 有效感受野 64
4.6.2 形狀偏好 65
4.7 本章小結 67
第 5 章 用於通道剪枝的向心隨機梯度下降算法 68
5.1 本章引言 68
5.2 相關工作 71
5.3 向心隨機梯度下降 72
5.3.1 通道剪枝的符號表示 72
5.3.2 C-SGD 更新規則 73
5.3.3 C-SGD 的直觀解釋 75
5.3.4 C-SGD 的高效實現 77
5.3.5 C-SGD 訓練後的剪枝重構 78
5.3.6 用 C-SGD 解決受約束剪枝問題 79
5.4 寬度濃縮：一種基於 C-SGD 的訓練方法論 83
5.5 實驗分析 84
5.5.1 CIFAR-10 剪枝實驗 84
5.5.2 ImageNet 剪枝實驗 88
5.5.3 語義分割和目標檢測 91
5.5.4 聚類方法研究 91
5.5.5 趨同與歸零冗餘模式的對比 92
5.5.6 C-SGD 與其他剪枝方法的嚴格對比 93
5.5.7 冗餘訓練與常規訓練的對比 95
5.5.8 “全局瘦身”和“局部裁剪”的對比 96
5.5.9 寬度濃縮 96
5.6 關於 C-SGD 效率的討論 98
5.7 本章小結 99
第 6 章 基於結構變換的高精度通道剪枝方法 100
6.1 本章引言 100
6.2 相關工作 104
6.3 ResRep. 104
6.3.1 Rep：捲積重參數化 104
6.3.2 Res：梯度重置 106
6.3.3 Res 和 Rep 的有機結合 108
6.4 實驗分析 109
6.4.1 ImageNet 和 CIFAR-10 剪枝實驗 109
6.4.2 基線和變體對比實驗 114
6.4.3 Res 和 Rep 的消融實驗 115
6.5 本章小結 117
第 7 章 總結與展望 118
7.1 工作總結 118
7.2 未來工作展望 119
參考文獻 121
在學期間完成的相關學術成果 139
致謝 141
