大模型技術 30講 Machine Learning Q and AI: 30 Essential Questions and Answers on Machine Learning and AI

塞巴斯蒂安·拉施卡（Sebastian Raschka） 威斯康星大學麥迪遜分校統計學副教授，專註於機器學習和深度學習研究。他擁有密歇根州立大學的博士學位，在計算生物學領域提出了幾種新的計算方法，曾被科技博客Analytics Vidhya評為GitHub上極具影響力的數據科學家之一。他在Python編程方面擁有多年經驗，同時還多次參加數據科學應用與機器學習領域的研討會。暢銷書《Python機器學習》和Machine Learning with PyTorch and Scikit-Learn的作者。

第一部分　神經網絡與深度學習

第1章　嵌入、潛空間和表徵 2

1.1　嵌入 2

1.2　潛空間 4

1.3　表徵 4

1.4　練習 5

1.5　參考文獻 5

第2章　自監督學習 6

2.1　自監督學習與遷移學習 6

2.2　使用無標簽數據 8

2.3　自預測與對比自監督學習 8

2.4　練習 10

2.5　參考文獻 10

第3章　小樣本學習 12

3.1　數據集與術語 12

3.2　練習 14

第4章　彩票假設 15

4.1　彩票假設的訓練流程 15

4.2　實際意義與局限性 16

4.3　練習 17

4.4　參考文獻 17

第5章　利用數據來減少過擬合現象 18

5.1　常用方法 18

5.1.1　採集更多數據 18

5.1.2　數據增強 19

5.1.3　預訓練 20

5.2　其他方法 20

5.3　練習 21

5.4　參考文獻 21

第6章　通過改進模型減少過擬合現象 23

6.1　常用方法 23

6.1.1　正則化 23

6.1.2　選擇更小的模型 25

6.1.3　集成方法 26

6.2　其他方法 27

6.3　選擇正則化技術 28

6.4　練習 28

6.5　參考文獻 28

第7章　多GPU訓練模式 30

7.1　訓練模式 30

7.1.1　模型並行 30

7.1.2　數據並行 31

7.1.3　張量並行 31

7.1.4　流水線並行 32

7.1.5　序列並行 33

7.2　建議 34

7.3　練習 34

7.4　參考文獻 34

第8章　Transformer架構的成功 36

8.1　註意力機制 36

8.2　通過自監督學習進行預訓練 37

8.3　大規模參數 38

8.4　輕松並行化 38

8.5　練習 39

8.6　參考文獻 39

第9章　生成式AI模型 40

9.1　生成式模型與判別式模型 40

9.2　深度生成式模型的類型 41

9.2.1　能量模型 41

9.2.2　變分自編碼器 42

9.2.3　生成對抗網絡 43

9.2.4　流模型 43

9.2.5　自回歸模型 44

9.2.6　擴散模型 45

9.2.7　一致性模型 46

9.3　建議 47

9.4　練習 47

9.5　參考文獻 47

第10章　隨機性的由來 48

10.1　模型權重初始化 48

10.2　數據集採樣與重排 49

10.3　非確定性算法 49

10.4　不同運行時的算法 50

10.5　硬件與驅動程序 51

10.6　隨機性與生成式AI 51

10.7　練習 53

10.8　參考文獻 53

第二部分　電腦視覺

第11章　計算參數量 56

11.1　如何計算參數量 56

11.1.1　捲積層 57

11.1.2　全連接層 58

11.2　實際應用 59

11.3　練習 60

第12章　全連接層和捲積層 61

12.1　當捲積核與輸入大小相同時 62

12.2　當捲積核大小為1時 63

12.3　建議 63

12.4　練習 63

第13章　ViT架構所需的大型訓練集 64

13.1　CNN中的歸納偏置 64

13.2　ViT可以比CNN表現得更好 67

13.3　ViT中的歸納偏置 67

13.4　建議 68

13.5　練習 69

13.6　參考文獻 69

第三部分　自然語言處理

第14章　分佈假設 72

14.1　Word2vec、BERT和GPT 73

14.2　假設成立嗎 74

14.3　練習 75

14.4　參考文獻 75

第15章　文本數據增強 76

15.1　同義詞替換 76

15.2　詞語刪除 77

15.3　詞語位置交換 77

15.4　句子亂序 77

15.5　噪聲註入 78

15.6　回譯 78

15.7　合成數據生成 79

15.8　建議 79

15.9　練習 80

15.10　參考文獻 80

第16章　自註意力 81

16.1　RNN中的註意力 81

16.2　自註意力機制 83

16.3　練習 84

16.4　參考文獻 84

第17章　編碼器和解碼器風格的

Transformer架構 85

17.1　原始的Transformer 85

17.1.1　編碼器 87

17.1.2　解碼器 88

17.2　編碼器 解碼器混合模型 89

17.3　專業術語 89

17.4　當代Transformer模型 90

17.5　練習 91

17.6　參考文獻 91

第18章　使用和微調預訓練

Transformer 92

18.1　使用Transformer執行分類任務 92

18.2　上下文學習、索引和提示詞調優 94

18.3　參數高效的微調方法 97

18.4　基於人類反饋的強化學習 102

18.5　適配預訓練語言模型 102

18.6　練習 103

18.7　參考文獻 103

第19章　評測生成式大模型 104

19.1　大模型的評測指標 104

19.1.1　困惑度 105

19.1.2　BLEU 106

19.1.3　ROUGE 107

19.1.4　BERTScore 109

19.2　替代指標 110

19.3　練習 110

19.4　參考文獻 110

第四部分　生產與部署

第20章　無狀態訓練與有狀態訓練 114

20.1　無狀態（重）訓練 114

20.2　有狀態訓練 115

20.3　練習 115

第21章　以數據為中心的人工智能 117

21.1　以數據為中心的人工智能與以模型

為中心的人工智能 117

21.2　建議 119

21.3　練習 119

21.4　參考文獻 120

第22章　加速推理 121

22.1　並行化 121

22.2　向量化 122

22.3　循環分塊 123

22.4　算子融合 123

22.5　量化 124

22.6　練習 125

22.7　參考文獻 125

第23章　數據分佈偏移 126

23.1　協變量偏移 126

23.2　標簽偏移 127

23.3　概念偏移 128

23.4　領域偏移 128

23.5　數據分佈偏移的類型 129

23.6　練習 130

23.7　參考文獻 130

第五部分　預測性能與模型評測

第24章　泊松回歸與序回歸 132

第25章　置信區間 134

25.1　定義置信區間 134

25.2　方法 136

25.2.1　方法1：正態近似區間 136

25.2.2　方法2：使用自助法構建

訓練集 137

25.2.3　方法3：使用自助抽樣法

構建測試集預測結果 139

25.2.4　方法4：使用不同的隨機

種子重新訓練模型 140

25.3　練習 141

25.4　參考文獻 141

第26章　置信區間與共形預測 142

26.1　置信區間和預測區間 142

26.2　預測區間與共形預測 143

26.3　預測區域、預測區間與預測集合 143

26.4　計算共形預測 143

26.5　共形預測示例 145

26.6　共形預測的優點 146

26.7　建議 146

26.8　練習 146

26.9　參考文獻 147

第27章　合適的模型度量 148

27.1　標準 148

27.2　均方誤差 149

27.3　交叉熵損失 150

27.4　練習 151

第28章　k折交叉驗證中的k 152

28.1　選擇k值時的權衡考量 153

28.2　確定適當的k值 154

28.3　練習 154

28.4　參考文獻 155

第29章　訓練集和測試集的不一致性 156

第30章　有限的有標簽數據 158

30.1　利用有限的有標簽數據提高模型

性能 158

30.1.1　標註更多數據 158

30.1.2　自助抽樣數據 158

30.1.3　遷移學習 159

30.1.4　自監督學習 159

30.1.5　主動學習 160

30.1.6　小樣本學習 160

30.1.7　元學習 161

30.1.8　弱監督學習 161

30.1.9　半監督學習 162

30.1.10　自訓練 163

30.1.11　多任務學習 163

30.1.12　多模態學習 164

30.1.13　歸納偏置 165

30.2　建議 165

30.3　練習 167

30.4　參考文獻 167

後記 168

附錄　練習答案 169