人工智能技術基礎

周庆国，兰州大学信息科学与工程学院教授，博导，中国计算机学会（CCF）高级会员，首批全国万名优秀创新创业导师，教育部“新世纪优秀人才支持计划”入选者，宁夏回族自治区高等学校特聘教授，青海省“高端创新人才千人计划”（引进领军人才）入选者，兰州大学开源软件与实时系统教育部工程研究中心副主任，兰州大学计算机系统结构研究所所长，兰州大学分布式与嵌入式系统实验室主任。目前主要从事实时系统、嵌入式系统、人工智能的研究，2017年研制了甘肃省第一辆无人驾驶试验车。近年来荣获甘肃省科技进步二等奖（1/8）、第一届全国高等学校计算机教育教学青年教师优秀论文奖一等奖、兰州大学教学成果奖一等奖（1/5）等荣誉，牵头编制了《甘肃省网络空间安全纲要》。

雍宾宾，兰州大学信息科学与工程学院副教授，硕士生导师。主要从事高性能计算、深度学习和自动驾驶相关研究。2018年获ACM兰州分区优秀博士，2019年获得谷歌奖教金，2021年获得华为云与计算先锋教师。共发表学术论文三十余篇，承担5项教育部产学合作项目。

人工智能技術基礎 1

內容提要　1

前　言　2

目　錄　4

第　一章 趣談/漫話人工智能　11

1.1　一個古老的職業　11

1.2　最後的觀（占）星大師　12

1.3　中世紀的宇宙模型　13

1.4　八卦中的秘密　14

1.5　另一個蘋果　16

1.6　神經網絡發展　20

1.7　新時代的煉金術　21

1.8　深度學習和大數據　22

1.9　最後的圍棋大師　23

本章小結　24

習題　24

第二章　學習在於實踐-編程環境和基礎　25

2.1編程環境管家-Anaconda管理工具　25

2.1.1　Anaconda 簡介　25

2.1.2　如何安裝　25

2.1.3　環境管理　28

2.2簡明膠水語言-Python　29

2.2.1　簡介　29

2.2.2　安裝　29

2.2.3　基礎語法　30

2.2.4　解決兔子繁殖問題　35

2.3　面向數組的計算-NumPy　36

2.3.1　簡介　36

2.3.2　安裝　36

2.3.3　基礎語法　37

2.3.4　案例　38

2.4　機器學習百寶箱-Sklearn　41

2.4.1　簡介　41

2.4.2　安裝　41

2.5　大道至簡-keras　42

2.5.1　簡介　42

2.5.2　安裝　42

本章小結　43

習題　43

第三章　窮舉的魅力-搜索　44

3.1驢友的困惑-經典旅行問題　44

3.1.1　七橋問題　44

3.1.2　旅行商問題　45

3.1.3　迷宮問題　46

3.2搜索的積木-基礎數據結構　46

3.2.1　樹　46

3.2.2　圖　47

3.2.3　棧　49

3.2.4　優先隊列　50

3.3林深時見鹿-深度優先搜索　51

3.3.1　寬度優先搜索簡介　51

3.3.2　使用DFS解決七橋問題　54

3.3.3　使用DFS解決旅行商問題　55

3.3.4　使用DFS解決迷宮問題　57

3.4近水樓台先得月-廣度優先搜索　59

3.4.1　廣度優先搜索簡介　59

3.4.2使用BFS解決七橋問題　59

3.4.3　使用BFS解決旅行商問題　59

3.4.4　使用BFS解決迷宮問題　60

本章小結　60

習題　60

第四章　電腦里的物競天擇-進化算法　61

4.1　生物的演化規律-物種起源　61

4.2程序的優化方法-遺傳算法　61

4.2.1　遺傳學的啟發　61

4.2.2　遺傳定律　62

4.2.3　遺傳算法　62

4.3基因優化的模擬-交叉變異　64

4.3.1　基因的二進製表示　64

4.3.2　適應度的選擇方法　65

4.3.3　基因交叉計算　66

4.3.4　基因變異　67

4.4更高級的程序優化-進化算法　67

4.4.1　進化算法原理　67

4.4.2　數值優化應用實踐　67

4.4.3　進化算法庫Geatpy　69

4.5橫看成嶺側成峰-多目標優化　72

4.5.1　帕累托最優　73

4.5.2　多目標優化算法　73

4.5.3　多目標優化實踐　73

4.6麻雀雖小五臟俱全-其它進化算法　75

4.6.1　粒子群優化算法　75

4.6.2　蟻群算法　76

本章小結　77

習題　77

第五章　數據即規律-統計學習　78

5.1　潤物細無聲-教師和學習　78

5.2　理想中的世界-線性模型　80

5.3　物以類聚，人以群分-聚類　86

5.4　如何做出選擇-決策樹　87

5.5　維度的秘密-支持向量機　90

5.6　三個臭皮匠頂個諸葛亮--集成機器學習　93

5.7　本章小結　94

5.8　習題　95

第六章　描述萬物的規律-神經網絡　96

6.1　最簡單的神經網絡模型-感知機　96

6.2　神經網絡的核心-非線性激活函數　97

6.3　感知機的缺陷-解決找茬（異或）難題　99

6.4　萬能的神經網絡-通用函數擬合　103

6.5　魔方缺了一面-利用反向傳播求解神經網絡　106

6.6　構建神經網絡的積木-keras API函數　109

6.7　開始動手-神經網絡應用　112

本章小結　116

習題　116

第七章　抽象的威力-深度學習　117

7.1被麻醉的貓-生物視覺原理　117

7.2深度學習的視覺-CNN模型　118

7.2.1　彩色圖片數據組成　119

7.2.2　CNN是怎麽工作的　119

7.2.3　CNN學到了什麽　122

7.2.4　CNN應用實例—貓狗大戰　123

7.3瞻前顧後的深度模型-RNN　130

7.3.1　RNN模型結構　130

7.3.2　往前看和往後看——雙向RNN　132

7.3.3　RNN的其他應用　132

7.4　最大的煩惱就是記性太好-長短期記憶網絡　132

7.4.1　梯度消失和梯度爆炸問題　132

7.5　本章小結　140

7.6　習題　140

7.7　拓展閱讀　141

第八章　深度學習的集市　142

8.1學會識別不同的圖像-圖像分類　142

8.2尋找物體的相框-目標檢測　150

8.2.1　數據集　150

8.2.2　基本原理　152

8.2.3　知名目標檢測模型　153

8.3學會區分不同的物體邊界-語義分割　158

8.3.1　數據集　158

8.3.2　基本原理　161

8.3.3　知名語義分割模型　161

本章小結　163

習題　163

第九章　基於關系的網絡-GNN　164

9.1　關系的表述-又是圖結構　164

9.1.1　靈活處理非歐數據的GNN　164

9.1.2　定義及概念介紹　165

9.2解決社交問題-原理和實踐　167

9.2.1　GCN原理介紹　167

9.2.2　GCN的應用——微博用戶性別預測（節點分類）　167

9.2.3　GCN的應用——閑魚垃圾評論識別（邊分類）　169

9.2.4　基於keras的GCN代碼解析　171

9.3　改進GCN模型-GAT原理及應用　179

9.3.1　GAT原理介紹　179

9.3.2　GAT的應用——微博用戶性別預測　180

9.3.3　基於keras的GAT代碼解析　181

本章小結　184

習題　184

拓展閱讀　184

第十章　巴甫洛夫的狗-智能體學習　185

10.1　靈感來源-反射學習　185

10.2　向狗學習-強化學習　185

10.2.1　發展歷程　185

10.2.2　強化學習範式　186

10.2.3　值函數與策略函數　189

10.2.4　MDP求解方法　190

10.3　實現強化學習-兩種策略　191

10.3.1　Off-policy學習　191

10.3.2　On-policy學習　191

10.4　引入萬能的神經網絡-深度強化學習　192

10.4.1　基於值函數的方法　193

10.4.2　基於策略梯度方法　193

10.5　解決更復雜的問題-分佈式強化學習　194

10.5.1　Impala　194

10.5.2　SeedRL　195

10.5.3　Ape-X　196

10.5.4　Acme　196

10.6　史上最強大的狗-阿爾法狗（AlphaGo）　196

10.6.1　圍棋簡介　196

10.6.2　AlphaGo算法運行原理　197

10.6.3　與AlphaGo下棋小例子　199

10.7　走向更強-高級強化學習　200

10.7.1　分層強化學習　200

10.7.2　逆強化學習　200

10.7.3　元強化學習　201

10.7.4　多智能體強化學習　201

本章小結　202

第十一章　學會藝術創作-生成學習　203

11.1　和梵高學習畫畫-風格遷移模型　203

11.1.1　深度學習作畫　203

11.1.2　第 一個風格遷移神經網絡　205

11.1.3　固定風格任意內容的快速風格遷移　206

11.1.4　基於keras實現的Gatys風格遷移模型　207

11.2　失業的畫家-生成對抗網絡　214

11.2.1　對抗生成模型GAN　214

11.2.2　GAN原理解析　214

11.2.3　基於DCGAN的手寫體數字生成　217

11.3　深度學習也“脆弱”-對抗攻擊　221

11.4復活的唐詩-大規模預訓練模型　223

11.4.1　大規模預訓練”語言模型　223

11.4.2　BERT和GPT原理淺析　225

11.4.3　基於BERT和GPT的詩歌生成　226

本章小結　227

習題　227

拓展閱讀　227

第十二章　學習使我快樂-自動學習　228

12.1　如何實現自動學習-AutoML原理　228

12.1.1　算法模型選擇　229

12.1.2　超參數優化　230

12.1.3　網絡結構優化　234

12.2　動手實踐-AutoML實例　234

12.2.1　Auto-sklearn　234

12.2.2　分佈式H2O　235

12.3　自動深度學習-AutoDL　236

12.3.1　深度學習概述　236

12.3.2　深度學習參數調節　236

12.4　自動強化學習-AutoRL　237

12.5　自動圖神經網絡-AutoGL　238

12.5.1　圖神經網絡簡介　238

12.5.2　自動圖神經網絡　239

本章小結　242

參考文獻　243