元學習在自動機器學習和數據挖掘中的應用(原書第二版)

目錄
前言
本書的基本架構
致謝
第一部分 基本概念與架構
第1章 簡介3
1.1 本書的結構3
1.2 基本概念與架構(第一部分)4
1.2.1 基本概念4
1.2.2 問題類型6
1.2.3 元學習與AutoML系統的基本架構7
1.2.4 使用來自先驗數據集的元數據進行算法選擇(第2、5章)7
1.2.5 不同系統的評價與比較(第3章)8
1.2.6 數據集特徵/元特徵的作用(第4章)8
1.2.7 不同類型的元級模型(第5章)9
1.2.8 超參數優化(第6章)9
1.2.9 工作流設計的自動化方法(第7章)10
1.3 先進技術和方法(第二部分)10
1.3.1 設置構形空間和實驗(第8章)10
1.3.2 集成學習與數據流的自動化方法11
1.3.3 元模型的跨任務遷移(第12章)12
1.3.4 深度神經網絡的元學習(第13章)13
1.3.5 數據科學自動化與復雜系統設計13
1.4 實驗結果的儲存庫(第三部分)15
1.4.1 元數據的儲存庫(第16章)15
1.4.2 學習儲存庫中的元數據(第17章)15
1.4.3 結束語(第18章)16
參考文獻16
第2章 算法選擇的元學習方法(一)(排序設置)18
2.1 簡介18
2.2 不同形式的推薦19
2.2.1 算法集中的最佳算法20
2.2.2 最優算法子集20
2.2.3 線性排序21
2.2.4 準線性(弱)排序22
2.2.5 不完全排序22
2.2.6 在特定的預算範圍內尋找最佳算法22
2.3 算法選擇所需的排序模型23
2.3.1 以排序的形式生成元模型23
2.3.2 使用排序元模型進行預測(top-n策略)26
2.3.3 對建議排序的評價29
2.4 實施精度與運行時間的組合測度29
2.5 擴展及其他方法31
2.5.1 採用平均排序法推薦工作流31
2.5.2 排序可能會降低數據集專家級算法的等級31
2.5.3 基於DEA多準則分析的方法32
2.5.4 利用數據集的相似性來識別元數據的相關部分32
2.5.5 處理不完全排序32
參考文獻34
第3章 學習/自動機器學習(AutoML)系統評價建議36
3.1 簡介36
3.2 基礎算法的評估方法37
3.2.1 泛化誤差37
3.2.2 評估策略37
3.2.3 損失函數和損失38
3.3 基礎算法的性能歸一化38
3.4 元學習與AutoML系統的評估方法40
3.4.1 留出策略下的一次通過性評估40
3.4.2 採用交叉驗證的元級評估42
3.5 根據相關度評估推薦42
3.6 評估推薦的效果44
3.6.1 性能損失和損失曲線44
3.6.2 用曲線下麵積表徵損失曲線45
3.6.3 將通過多程交叉驗證的損失曲線聚合起來46
3.6.4 在特定時間預算內進行統計測試46
3.7 一些有用的度量標準47
3.7.1 鬆弛精度47
3.7.2 歸一化的“折算累計增益”47
參考文獻48
第4章 數據集特徵(元特徵)50
4.1 簡介50
4.2 分類任務中採用的數據特徵描述51
4.2.1 簡單、統計型和信息理論型(SSI)元特徵52
4.2.2 基於模型的元特徵53
4.2.3 基於性能的元特徵54
4.2.4 基於概念和復雜性的元特徵55
4.3 回歸任務中採用的數據特徵描述57
4.3.1 簡單元特徵和統計元特徵57
4.3.2 基於復雜性的度量58
4.3.3 基於復雜性/模型的度量58
4.3.4 光滑度度量58
4.3.5 非線性度量59
4.4 時間序列任務中使用的數據特徵描述59
4.5 聚類任務中採用的數據特徵描述60
4.6 從基本集中衍生出新特徵61
4.7 元特徵的選擇64
4.7.1 靜態選擇元特徵64
4.7.2 動態(迭代)數據特徵描述65
4.8 針對算法的表徵和表示問題65
4.8.1 針對算法的數據特徵描述65
4.8.2 表示問題66
4.9 確立數據集之間的相似度66
4.9.1 基於元特徵的相似度66
4.9.2 基於算法性能結果的相似度67
參考文獻68
第5章 算法選擇元學習法(二)74
5.1 簡介74
5.2 在元學習系統中運用回歸模型75
5.2.1 實證性能模型75
5.2.2 性能歸一化77
5.2.3 性能模型77
5.2.4 聚類樹77
5.2.5 將性能預測轉化為排序78
5.2.6 針對每個實例的性能預測78
5.2.7 性能預測的優點和缺點78
5.3 在元層次上使用分類進行適用性預測79
5.4 基於成對比較的方法80
5.4.1 利用地標的成對檢測81
5.4.2 針對局部學習曲線的成對方法81
5.5 算法集的成對方法84
5.6 用於實施成對測試的迭代方法87
5.7 使用ART樹和森林89
5.8 主動測試90
5.8.1 兼顧準確度和運行時間的主動測試90
5.8.2 重在相似數據集的主動測試93
5.8.3 討論94
5.9 非命題方法94
參考文獻95
第6章 超參數優化的元學習99
6.1 簡介99
6.2 基本超參數優化法101
6.2.1 基本概念101
6.2.2 基本優化方法101
6.2.3 進化法103
6.2.4 啟發式搜索法103
6.2.5 超梯度104
6.2.6 多保真技術104
6.3 貝葉斯優化106
6.3.1 基於序變模型的優化106
6.3.2 樹形結構Parzen估計量(TPE)108
6.4 超參數優化的元學習109
6.4.1 熱啟動：在初始化過程中利用元知識109
6.4.2 元知識在貝葉斯優化中的應用111
6.4.3 自適應數據集相似度113
6.5 結束語113
參考文獻114
第7章 自動化工作流/應用流水線設計119
7.1 簡介119
7.2 自動工作流設計中的搜索約束120
7.2.1 定義備選方案的空間(描述性偏差)121
7.2.2 採用程序偏差的不同方式123
7.2.3 上下文無關文法(CFG)123
7.3 工作流設計中採用的策略126
7.3.1 運算符126
7.3.2 人工選擇運算符126
7.3.3 手動修改現有工作流126
7.3.4 規劃在工作流設計中的應用127
7.4 利用成功計劃(工作流)的排序131
參考文獻132
第二部分 先進技術和方法
第8章 設置構形空間與實驗139
8.1 簡介139
8.2 配置空間的類型140
8.2.1 與算法選擇相關聯的配置空間140
8.2.2 與超參數優化及超參數優化與算法選擇結合相關聯的配置空間140
8.2.3 與工作流設計相關聯的配置空間142
8.3 特定任務配置空間的充分性142
8.4 超參數重要度與邊際貢獻144
8.4.1 算法的邊際貢獻(工作流)144
8.4.2 確定特定數據集上的超參數重要性144
8.4.3 跨數據集確立超參數重要性145
8.5 縮減配置空間146
8.5.1 縮減算法/配置的組合146
8.5.2 面向度量組合的歸約法150
8.6 符號學習中的配置空間151
8.7 需要的數據集152
8.7.1 依賴現有的數據集儲存庫152
8.7.2 生成人工數據集153
8.7.3 生成現有數據集的變體153
8.7.4 分割大型數據集或數據流153
8.7.5 搜尋具有判別能力的數據集154
8.8 完備元數據與不完備元數據155
8.8.1 有無可能獲得完備的元數據156
8.8.2 有無必要擁有完備的元數據157
8.8.3 測試順序重不重要157
8.9 利用多臂老虎機的策略安排實驗157
8.10 探討160
參考文獻160
第9章 將基學習器組合為集成學習器165
9.1 簡介165
9.2 袋裝法和推進法166
9.2.1 袋裝法166
9.2.2 推進法167
9.3 堆疊與級聯歸納169
9.3.1 堆疊169
9.3.2 級聯歸納170
9.4 級聯與代理172
9.4.1 級聯172
9.4.2 委托174
9.5 仲裁法175
9.6 元決策樹177
9.7 討論179
參考文獻179
第10章 集成法中的元學習182
10.1 簡介182
10.2 集成系統的基本特徵183
10.3 基於選擇的集成構建方法184
10.4 集成學習(每數據集)184
10.4.1 構建和剪枝階段的元學習185
10.4.2 整合階段的元學習187
10.5 動態選擇模型(每實例)188
10.6 創建層級集成模型190
10.6.1 層級集成模型190
10.6.2 利用進化計算改進層級集成模型190
10.6.3 層級集成方法中的元學習191
10.7 結論與未來研究展望191
參考文獻191
第11章 數據流算法推薦194
11.1 簡介194
11.1.1 根據數據流場景調整批處理分類器196
11.1.2 根據數據流場景調整集成模型196
11.1.3 動因197
11.2 基於元特徵的方法197
11.2.1 方法198
11.2.2 訓練元模型198
11.2.3 元特徵199
11.2.4 超參數的考慮因素200
11.2.5 元模型200
11.2.6 數據流元學習系統的評估201
11.2.7 基準201
11.2.8 討論202
11.3 數據流集成202
11.3.1 上一區間最佳分類器(Blast)203
11.3.2 漸消因子204
11.3.3 特徵漂移的異構集成205
11.3.4 選擇最佳分類器的考慮因素205
11.3.5 討論205
11.4 遞歸元級模型206
11.4.1 準確度衡量的集成模型206
11.4.2 兩層架構207
11.5 未來研究的挑戰208
參考文獻209
第12章 跨任務知識遷移212
12.1 簡介212
12.2 背景、術語和符號213
12.2.1 遷移學習何時可用213
12.2.2 遷移學習的類型213
12.2.3 可以遷移哪些內容214
12.3 遷移學習中的學習架構215
12.3.1 神經網絡中的遷移215
12.3.2 核方法中的遷移219
12.3.3 參數化貝葉斯模型中的遷移219
12.4 理論框架220
12.4.1 學會學習場景221
12.4.2 元學習器泛化誤差的界限221
12.4.3 其他理論研究222
12.4.4 元學習中的偏差與方差224
附錄A 224
參考文獻226
第13章 深度神經網絡中的元學習230
13.1 簡介230
13.2 背景和符號230
13.2.1 深度神經網絡中的元抽象231
13.2.2 常用訓練和評估程序231
13.2.3 本章剩餘部分概述233
13.3 基於度量的元學習234
13.3.1 連體神經網絡236
13.3.2 匹配網絡237
13.3.3 圖神經網絡238
13.3.4 註意循環比較器239
13.4 基於模型的元學習240
13.4.1 記憶增強神經網絡242
13.4.2 元網絡243
13.4.3 簡單的神經註意力學習器(SNAIL)245
13.4.4 條件神經過程247
13.5 基於優化的元學習248
13.5.1 LSTM優化器249
13.5.2 強化學習優化器250
13.5.3 模型無關元學習(MAML)251
13.5.4 爬行動物253
13.6 討論與展望255
13.6.1 開放的挑戰256
13.6.2 未來的研究256
參考文獻257
第14章 數據科學自動化261
14.1 簡介261
14.2 確定當前的問題/任務262
14.2.1 問題理解和描述262
14.2.2 生成任務描述符262
14.2.3 確定任務類型和目標263
14.3 確定任務域和知識264
14.4 獲得數據265
14.4.1 選擇現有的數據或計劃如何獲得數據？265
14.4.2 確定特定域數據和背景知識265
14.4.3 從不同源中獲得數據和背景知識266
14.5 自動化數據預處理和轉換266
14.5.1 數據轉換/數據整理267
14.5.2 實例選擇和模型壓縮269
14.5.3 自動選擇預處理方法269
14.5.4 改變表徵的顆粒度270
14.6 自動模型及報告生成271
14.6.1 自動模型生成及部署271
14.6.2 自動報告生成271
參考文獻271
第15章 復雜系統設計自動化275
15.1 簡介275
15.2 利用一組豐富的運算符276
15.3 引入新概念以改變粒度277
15.3.1 通過聚類定義新的概念277
15.3.2 構造性歸納278
15.3.3 以規則為基礎的理論重構278
15.3.4 引入表示為規則的新概念279
15.3.5 命題化280
15.3.6 深度神經網絡中的自動特徵構造280
15.3.7 重用新概念來重定義本體280
15.4 在繼續學習中重用新概念281
15.5 迭代學習281
15.6 學習解決共生任務283
參考文獻284
第三部分 組織和利用元數據
第16章 元數據儲存庫289
16.1 簡介289
16.2 整理世界機器學習信息289
16.2.1 對更好的元數據的需求289
16.2.2 工具和方案290
16.3 OpenML291
16.3.1 數據集291
16.3.2 任務類型292
16.3.3 任務292
16.3.4 流程293
16.3.5 設置294
16.3.6 運行294
16.3.7 研究和基準測試套件296
16.3.8 在機器學習環境中集成OpenML296
參考文獻299
第17章 學習儲存庫中的元數據302
17.1 簡介302
17.2 每數據集的算法性能分析302
17.2.1 對比不同的算法303
17.2.2 更改一些超參數設置的影響304
17.3 跨數據集的算法性能分析305
17.3.1 使用不同分類器的默認超參數的影響305
17.3.2 超參數優化的影響307
17.3.3 識別具有相似預測的算法(工作流)309
17.4 特定數據/工作流特徵對性能的影響310
17.4.1 選擇線性和非線性模型的影響310
17.4.2 採用特徵選擇的影響311
17.4.3 特定超參數設置的影響312
17.5 總結315
參考文獻316
第18章 結束語318
18.1 簡介318
18.2 不同方法中使用的元知識形式318
18.2.1 算法選擇方法中的元知識319
18.2.2 超參數優化方法中的元知識320
18.2.3 工作流設計中的元知識320
18.2.4 遷移學習和深度神經網絡中的元知識320
18.3 未來挑戰321
18.3.1 設計與數據集特徵和性能相關的元特徵321
18.3.2 元學習與AutoML方法的進一步集成321
18.3.3 自動化適應當前任務321
18.3.4 自動化減少構形空間322
18.3.5 數據流挖掘自動化322
18.3.6 神經網絡參數配置自動化323
18.3.7 數據科學自動化323
18.3.8 具有更復雜結構解決方案的設計自動化324
18.3.9 設計元學習/AutoML平臺325
參考文獻325
彩圖