特徵工程訓練營

目    錄 

第1 章 特徵工程簡介   1

1.1 特徵工程是什麽，為什麽它如此重要 2

1.1.1 誰需要特徵工程  4

1.1.2 特徵工程的局限性    4

1.1.3 出色的數據，出色的模型    5

1.2 特徵工程流程 6

1.3 本書的編排方式  10

1.3.1 特徵工程的五種類型    11

1.3.2 本書案例研究的概述    12

1.4 本章小結    14

第2 章 特徵工程基礎知識  17

2.1 數據類型    18

2.1.1 結構化數據   18

2.1.2 非結構化數據  18

2.2 數據的四個層次  20

2.2.1 定性數據與定量數據  20

2.2.2 名義層次 21

2.2.3 序數層次 23

2.2.4 區間層次 24

2.2.5 比率層次 26

2.3 特徵工程的類型  31

2.3.1 特徵改進 31

2.3.2 特徵構建 32

2.3.3 特徵選擇 34

2.3.4 特徵提取 35

2.3.5 特徵學習 36

2.4 如何評估特徵工程的成果   38

2.4.1 評估指標1：機器學習度量標準 38

2.4.2 評估指標2：可解釋性  39

2.4.3 評估指標3：公平性和偏見 39

2.4.4 評估指標4：機器學習復雜性和

速度   40

2.5 本章小結   41

第3 章 醫療服務：COVID-19的診斷   43

3.1 COVID 流感診斷數據集    45

3.2 探索性數據分析  49

3.3 特徵改進    52

3.3.1 補充缺失的定量數據    52

3.3.2 填充缺失的定性數據    58

3.4 特徵構建   61

3.4.1 數值特徵的轉換    61

3.4.2 構建分類數據  68

3.5 構建特徵工程流程    75

3.6 特徵選擇   84

3.6.1 互信息   84

3.6.2 假設檢驗  85

3.6.3 使用機器學習  87

3.7 練習與答案   90

3.8 本章小結    90

第4 章 偏見與公平性：再犯率建模 93

4.1 COMPAS 數據集  93

4.2 探索性數據分析  97

4.3 測量偏見和公平性   101

4.3.1 不同對待與不同影響    102

4.3.2 公平的定義   102

4.4 構建基準模型  105

4.4.1 特徵構建  105

4.4.2 構建基準流程  106

4.4.3 測量基準模型的偏見    108

4.5 偏見緩解  115

4.5.1 模型訓練前   116

4.5.2 模型訓練中   116

4.5.3 模型訓練後   116

4.6 構建偏見感知模型  117

4.6.1 特徵構建：使用Yeo-Johnson 轉換器處理不同的影響    117

4.6.2 特徵提取：使用aif360 學習公平表示實現  123

4.7 練習與答案 129

4.8 本章小結  130

第5 章 自然語言處理：社交媒體情感分類  131

5.1 推文情感數據集 134

5.2 文本向量化 138

5.2.1 特徵構建：詞袋模型    138

5.2.2 計數向量化  139

5.2.3 TF-IDF向量化  146

5.3 特徵改進  149

5.3.1 清理文本中的噪聲   150

5.3.2 對token 進行標準化  152

5.4 特徵提取  155

5.5 特徵學習  158

5.5.1 自動編碼器簡介   159

5.5.2 訓練自動編碼器以學習特徵  160

5.5.3 遷移學習簡介·· 165

5.5.4 使用BERT 的遷移學習   166

5.5.5 使用BERT 的預訓練特徵  169

5.6 文本向量化回顧 172

5.7 練習與答案 173

5.8 本章小結  174

第6 章 電腦視覺：對象識別    175

6.1 CIFAR-10 數據集 176

6.2 特徵構建：像素作為特徵  178

6.3 特徵提取：梯度方向直方圖   181

6.4 使用VGG-11 進行特徵學習  190

6.4.1 使用預訓練的VGG-11 作為特徵提取器   191

6.4.2 微調VGG-11   196

6.4.3 使用經過微調的VGG-11 特徵進行邏輯回歸  201

6.5 圖像矢量化總結 203

6.6 練習與答案 204

6.7 本章小結  205

第7 章 時間序列分析：利用機器學習進行短線交易    207

7.1 TWLO 數據集  208

7.2 特徵構建  213

7.2.1 日期/時間特徵    213

7.2.2 滯後特徵  215

7.2.3 滾動/擴展窗口特徵    216

7.2.4 領域特定特徵  229

7.3 特徵選擇  238

7.3.1 使用機器學習選擇特徵  238

7.3.2 遞歸特徵消除  240

7.4 特徵提取  242

7.5 結論  248

7.6 練習與答案 249

7.7 本章小結  251

第8 章 特徵存儲  253

8.1 MLOps 和特徵存儲  254

8.1.1 使用特徵存儲的收益   255

8.1.2 維基百科、MLOps和特徵存儲  260

8.2 使用Hopsworks 設置特徵存儲  262

8.2.1 使用HSFS API 連接到Hopsworks  263

8.2.2 特徵組  265

8.2.3 使用特徵組來選擇數據   273

8.3 在Hopsworks 中創建訓練數據  275

8.3.1 訓練數據集  276

8.3.2 數據溯源   280

8.4 練習與答案 281

8.5 本章小結  281

第9 章 匯總    283

9.1 重新審視特徵工程流程  283

9.2 主要收獲  284

9.2.1 特徵工程與機器學習模型的選擇同樣至關重要  285

9.2.2 特徵工程並非一勞永逸的解決方案    286

9.3 特徵工程回顧  286

9.3.1 特徵改進  286

9.3.2 特徵構建  286

9.3.3 特徵選擇  287

9.3.4 特徵提取  287

9.3.5 特徵學習  289

9.4 數據類型特定的特徵工程技術  290

9.4.1 結構化數據   290

9.4.2 非結構化數據  293

9.5 常見問題解答  295

9.5.1 何時應將分類變量進行虛擬化，而不是將它們保留為單獨的列   295

9.5.2 如何確定是否需要處理數據中的偏見    297

9.6 其他特徵工程技術  298

9.6.1 分類虛擬桶化  298

9.6.2 將學到的特徵與傳統特徵結合  300

9.6.3 其他原始數據向量化器  305

9.7 擴展閱讀  306

9.8 本章小結  307