AI 芯片：前沿技術與創新未來

張臣雄
畢業於上海交通大學電子工程系，在德國獲得工學碩士和工學博士學位。
曾在德國西門子、Interphase、上海通信技術中心及一家世界500 強大型高科技企業分別擔任項目主管、CTO、CEO、首席科學家等職，長期從事及主管半導體芯片的研究和開發，推動芯片的產業化應用。
張臣雄博士是兩家創業公司的創始人之一，兼任首席科學家。
他擁有200 餘項專利及專利申請，出版了多本專著並發表了100 多篇論文。

第一篇導論
第1 章AI 芯片是人工智能未來發展的核心——什麼是AI 芯片// 2
1.1 AI 芯片的歷史// 3
1.2 AI 芯片要完成的基本運算// 5
1.2.1 大腦的工作機制// 5
1.2.2 模擬大腦運作的神經網絡的計算// 7
1.2.3 深度學習如何進行預測// 8
1.2.4 提高性能和降低功耗// 9
1.3 AI 芯片的種類// 11
1.3.1 深度學習加速器// 15
1.3.2 類腦芯片// 16
1.3.3 仿生芯片及其他智能芯片// 17
1.3.4 基於憶阻器的芯片// 19
1.4 AI 芯片的研發概況// 22 1.5 小結// 23

第2 章執行“訓練”和“推理”的AI 芯片// 25
2.1 深度學習算法成為目前的主流// 25
2.1.1 深度學習的優勢與不足// 28
2.1.2 監督學習與無監督學習// 29
2.1.3 AI 芯片用於雲端與邊緣側// 31
2.1.4 把AI 計算從雲端遷移到邊緣側// 36
2.2 AI 芯片的創新計算範式// 40
2.3 AI 芯片的創新實現方法// 42 
2.4 小結// 46

第二篇最熱門的AI 芯片
第3 章深度學習AI 芯片// 48
3.1 深度神經網絡的基本組成及硬件實現// 48
3.1.1 AI 芯片的設計流程// 50
3.1.2 計算引擎和存儲系統// 51
3.2 算法的設計和優化// 57
3.2.1 降低數值精度的量化技術// 57
3.2.2 壓縮網絡規模、“修剪”網絡// 62
3.2.3 二值和三值神經網絡// 63
3.2.4 可變精度和遷移精度// 64
3.2.5 簡化卷積層// 66
3.2.6 增加和利用網絡稀疏性// 66
3.3 架構的設計和優化// 67
3.3.1 把數據流用圖表示的架構設計// 68
3.3.2 架構設計及優化的其他考慮// 71
3.4 電路的設計和優化// 72
3.4.1 用模數混合電路設計的MAC // 73
3.4.2 FPGA 及其Overlay 技術// 74
3.5 其他設計方法// 76
3.5.1 卷積分解方法// 76
3.5.2 提前終止方法// 76
3.5.3 知識蒸餾方法// 77
3.5.4 經驗測量方法// 77
3.5.5 哈希算法取代矩陣乘法// 78
3.5.6 神經架構搜索// 78
3.6 AI 芯片性能的衡量和評價// 79
3.7 小結// 82

第4 章近年研發的AI 芯片及其背後的產業和創業特點// 85
4.1 對AI 芯片巨大市場的期待// 86 
4.2 “1+3”大公司格局// 87
4.2.1 英偉達// 87
4.2.2 谷歌// 91
4.2.3 英特爾// 94
4.2.4 微軟// 96
4.2.5 其他一些著名公司的AI 芯片// 97
4.2.6 三位世界級AI 科學家// 101
4.3 學術界和初創公司// 102
4.3.1 大學和研究機構的AI 芯片// 103
4.3.2 四家初創“獨角獸”公司的芯片// 111
4.4 小結// 119

第5 章神經形態計算和類腦芯片// 121
5.1 脈衝神經網絡的基本原理// 122
5.2 類腦芯片的實現// 125
5.2.1 憶阻器實現// 127
5.2.2 自旋電子器件實現// 129
5.3 基於DNN 和SNN 的AI 芯片比較及未來可能的融合// 131
5.4 類腦芯片的例子及最新發展// 133
5.5 小結// 138

第三篇用於AI 芯片的創新計算範式
第6 章模擬計算// 142
6.1 模擬計算芯片// 143
6.2 新型非易失性存儲器推動了模擬計算// 147
6.2.1 用阻變存儲器實現模擬計算// 147
6.2.2 用相變存儲器實現模擬計算// 149
6.2.3 權重更新的挑戰// 150
6.2.4 NVM 器件的材料研究和創新// 151
6.3 模擬計算的應用範圍及其他實現方法// 153
6.4 模擬計算的未來趨勢// 154
6.5 小結// 156

第7 章存內計算// 158
7.1 馮·諾依曼架構與存內計算架構// 158
7.2 基於存內計算的AI 芯片// 161
7.2.1 改進現有存儲芯片來完成存內計算// 161
7.2.2 用3D 堆疊存儲技術來完成存內計算// 164
7.2.3 用新型非易失性存儲器來完成存內計算// 165
7.3 小結// 171

第8 章近似計算、隨機計算和可逆計算// 174
8.1 近似計算// 174
8.1.1 減少循環迭代次數的近似計算// 176
8.1.2 近似加法器和近似乘法器// 177
8.1.3 降低電源電壓的近似計算// 178
8.1.4 基於RRAM 的近似計算// 180
8.1.5 應對電路故障的近似計算// 182
8.2 隨機計算// 182
8.3 可逆計算// 187
8.4 小結// 191

第9 章自然計算和仿生計算// 192
9.1 組合優化問題// 193
9.2 組合優化問題的最優化算法// 195
9.2.1 模擬退火// 195
9.2.2 自組織映射// 197
9.2.3 群體算法// 199
9.3 超參數及神經架構搜索// 201
9.3.1 粒子群優化的應用// 202
9.3.2 強化學習方法的應用// 202
9.3.3 進化算法的應用// 203
9.3.4 其他自然仿生算法的應用// 204
9.4 基於自然仿生算法的AI 芯片// 205
9.4.1 粒子群優化的芯片實現// 206
9.4.2 用憶阻器實現模擬退火算法// 207
9.5 小結// 208

第四篇下一代AI 芯片
第10 章受量子原理啟發的AI 芯片——解決組合優化問題的突破// 210
10.1 量子退火機// 210
10.2 伊辛模型的基本原理// 212
10.3 用於解決組合優化問題的AI 芯片// 214
10.3.1 基於FPGA 的可編程數字退火芯片// 214
10.3.2 使用OPO 激光網絡來進行最優化計算// 216
10.3.3 CMOS 退火芯片// 218
10.3.4 商用量子啟發AI 芯片// 220
10.4 量子啟發AI 芯片的應用// 221
10.5 小結// 223

第11 章進一步提高智能程度的AI 算法及芯片// 224
11.1 自學習和創意計算// 225
11.2 元學習// 226
11.2.1 模型不可知元學習// 226
11.2.2 元學習共享分層// 227
11.2.3 終身學習// 228
11.2.4 用類腦芯片實現元學習// 229
11.3 元推理// 230
11.4 解開神經網絡內部表徵的纏結// 231
11.5 生成對抗網絡// 235
11.5.1 生成對抗網絡的FPGA 實現// 239
11.5.2 生成對抗網絡的CMOS 實現// 239
11.5.3 生成對抗網絡的RRAM 實現// 240
11.6 小結// 242

第12 章有機計算和自進化AI 芯片// 243
12.1 帶自主性的AI 芯片// 244
12.2 自主計算和有機計算// 247
12.3 自進化硬件架構與自進化AI 芯片// 248
12.3.1 自進化硬件架構// 248
12.3.2 自進化AI 芯片// 250
12.4 深度強化學習AI 芯片// 252
12.5 進化算法和深度學習算法的結合// 253
12.6 有機計算和遷移學習的結合// 254
12.7 小結// 255

第13 章光子AI 芯片和儲備池計算// 256
13.1 光子AI 芯片// 257
13.1.1 矽光芯片// 258
13.1.2 光學神經網絡架構// 259
13.1.3 光子AI 芯片// 261
13.2 基於儲備池計算的AI 芯片// 263
13.3 光子芯片的新進展// 267
13.4 小結// 268

第五篇推動AI 芯片發展的新技術
第14 章超低功耗與自供電AI 芯片// 271
14.1 超低功耗AI 芯片// 271
14.2 自供電AI 芯片// 274
14.2.1 使用太陽能的AI 芯片// 276
14.2.2 無線射頻信號能量採集// 277
14.2.3 摩擦生電器件// 280
14.2.4 微塵大小的AI 芯片// 282
14.2.5 可採集能源的特性// 283
14.2.6 其他可能被發掘的能源// 284
14.3 小結// 285

第15 章後摩爾定律時代的芯片// 287
15.1 摩爾定律仍然繼續，還是即將終結// 287
15.1.1 摩爾定律進一步// 290
15.1.2 比摩爾定律更多// 293
15.1.3 超越CMOS // 300
15.2 芯片設計自動化的前景// 311
15.3 後摩爾定律時代的重要變革是量子計算芯片// 312
15.4 小結// 314

第六篇促進AI 芯片發展的基礎理論研究、應用和創新
第16 章基礎理論研究引領AI 芯片創新// 316
16.1 量子場論// 317
16.1.1 規範場論與球形曲面卷積// 317
16.1.2 重整化群與深度學習// 321
16.2 超材料與電磁波深度神經網絡// 322
16.3 老子之道// 327
16.4 量子機器學習與量子神經網絡// 331
16.5 統計物理與信息論// 333
16.6 小結// 336

第17 章AI 芯片的應用和發展前景// 338
17.1 AI 的未來發展// 338
17.2 AI 芯片的功能和技術熱點// 341
17.3 AI 的三個層次和AI 芯片的應用// 343
17.4 更接近生物大腦的AI 芯片// 347
17.4.1 帶“左腦”和“右腦”的AI 芯片// 349
17.4.2 用細菌實現的擴散憶阻器// 350
17.4.3 用自旋電子器件實現的微波神經網絡// 351
17.4.4 用電化學原理實現模擬計算// 352
17.5 AI 芯片設計是一門跨界技術// 353
17.6 小結// 355

附錄中英文術語對照表// 360
參考文獻// 369