智慧運算系統：從深度學習到大模型, 2/e

陳雲霽 中國科學院計算技術研究所研究員、博導、智能處理器研究中心主任，中國科學院大學崗位教授，教育部高等學校計算機類專業教學指導委員會計算機系統專委會委員。他帶領其團隊研製了國際上首個深度學習處理器芯片“寒武紀1號”。他的研究成果已經應用在近億台智能手機和服務器中。他的學術論文多次獲得計算機體系結構頂級國際會議最佳論文獎，受到上百個國際知名機構跟蹤引用。因此，他被Science雜志刊文評價為深度學習處理器研究的“先驅”和“引領者”。

目錄
叢書序言
序言一
序言二
第 2 版前言
第 1 版前言
第 1 章 概述 1
1.1 人工智能1
1.1.1 什麼是人工智能 1
1.1.2 人工智能的主要方法1
1.1.3 人工智能的發展歷史5
1.2 智慧計算系統 8
1.2.1 什麼是智慧計算系統8
1.2.2 為什麼需要智慧計算系統8
1.2.3 智慧計算系統的發展9
1.3 驅動範例 12
1.4 本章小結 13
習題.14
第 2 章 深度學習基礎15
2.1 機器學習 15
2.1.1 基本概念15
2.1.2 線性迴歸16
2.2 神經網絡 19
2.2.1 感知機19
2.2.2 多層感知機 22
2.2.3 深度學習23
2.2.4 神經網絡的發展歷程24
2.3 神經網絡的訓練方法 26
2.3.1 正向傳播26
2.3.2 反向傳播29
2.4 神經網絡的設計基礎 30
2.4.1 網絡的拓樸結構30
2.4.2 激活函數31
2.4.3 損失函數35
2.5 過擬合與正規化 38
2.5.1 過擬合38
2.5.2 正規化39
2.6 交叉驗證 44
2.7 本章小結 46
習題 47
第 3 章 深度學習應用48
3.1 適合影像處理的捲積神經網絡 48
3.1.1 捲積神經網絡的整體結構 49
3.1.2 應用於影像分類的捲積神經
網絡.60
3.1.3 應用於影像目標偵測的捲積神
XXI
經網絡79
3.1.4 應用於影像生成的神經網絡95
3.2 適合文字/語音處理的循環神經
網絡110
3.2.1 RNN110
3.2.2 LSTM 114
3.2.3 GRU117
3.2.4 小結118
3.3 大模型118
3.3.1 Seq2Seq119
3.3.2 註意力機制120
3.3.3 Transformer124
3.3.4 自然語言處理大模型 126
3.3.5 影像處理與多模態大模型 139
3.3.6 基於大模型的智能體系統 152
3.3.7 小結156
3.4 神經網絡的優化157
3.4.1 初始化方法158
3.4.2 梯度下降法159
3.4.3 動量法 163
3.4.4 二階最佳化方法 164
3.4.5 自適應學習率演算法165
3.5 神經網絡量化 167
3.5.1 資料量化 169
3.5.2 神經網絡量化過程173
3.5.3 神經網絡量化應用174
3.5.4 神經網絡的混合精度量化.175
3.5.5 大模型量化176
3.5.6 小結177
3.6 驅動範例 177
3.6.1 影像風格遷移簡介177
3.6.2 基於捲積神經網絡的圖像風格
遷移演算法 178
3.6.3 即時影像風格遷移演算法 181
3.7 本章小結 182
習題 183
第 4 章 程式框架使用 184
4.1 程式框架概述 184
4.1.1 為什麼需要程式框架 184
4.1.2 程式設計框架的發展歷程 186
4.2 PyTorch 概述 187
4.3 PyTorch 程式設計模型及基本
用法188
4.3.1 NumPy 基礎 188
4.3.2 張量194
4.3.3 操作202
4.3.4 計算圖 206
4.4 基於 PyTorch 的模型推理
實現208
4.4.1 讀取輸入影像 210
4.4.2 建構神經網絡 214
4.4.3 實例化神經網絡模型 222
4.4.4 神經網絡模型的調試 226
4.4.5 神經網絡模型優化228
4.5 基於 PyTorch 的模型訓練
實現231
4.5.1 加載訓練資料集 231
4.5.2 模型訓練 233
4.5.3 模型的保存與恢復239
4.6 驅動範例 241
4.6.1 加載依賴包241
4.6.2 加載並顯示內容圖像和
風格圖像 242
4.6.3 建立輸入影像 243
4.6.4 定義並計算損失函數 244
4.6.5 建構風格遷移演算法247
XXII
4.6.6 風格遷移演算法運行248
4.7 本章小結 249
習題 249
第 5 章 程式框架原理 250
5.1 程式框架設計 250
5.1.1 設計原則 250
5.1.2 整體架構 251
5.2 計算圖建構 252
5.2.1 正向計算圖建構 253
5.2.2 反向計算圖建構 256
5.3 計算圖執行 260
5.3.1 設備管理 260
5.3.2 張量實現 262
5.3.3 算子執行 269
*5.4 深度學習編譯 278
5.4.1 為什麼需要深度學習編譯 278
5.4.2 圖層級編譯最佳化 281
5.4.3 算子層級編譯最佳化287
5.4.4 常見深度學習編譯器 294
*5.5 分佈式訓練299
5.5.1 為什麼需要分佈式訓練 300
5.5.2 分佈式訓練基礎 300
5.5.3 分佈式訓練方法 305
5.5.4 分佈式訓練框架實現 312
5.6 本章小結 318
習題 319
第 6 章 面向深度學習的處理器原理320
6.1 通用處理器 320
6.1.1 通用處理器的執行原理 321
6.1.2 通用處理器的結構發展 323
6.1.3 通用處理器分析與最佳化 339
6.1.4 總結與討論346
6.2 向量處理器 347
6.2.1 向量處理器的執行原理 347
6.2.2 向量處理器的結構發展 352
6.2.3 向量處理器分析與最佳化 359
6.2.4 總結與討論363
6.3 深度學習處理器364
6.3.1 深度學習處理器的執行
原理364
6.3.2 深度學習處理器的結構
發展376
6.3.3 總結與討論382
6.4 大規模深度學習處理器382
6.4.1 一致性訪存模