現代決策樹模型及其編程實踐：從傳統決策樹到深度決策樹

讚譽
序一
序二
序三
前言
第1章決策樹與人工智能1
1.1決策與智能1
1.2決策樹算法的起源2
1.3決策樹的核心術語4
1.4決策樹的可解釋性5
1.5作為決策分析工具的決策樹7
1.5.1決策分析8
1.5.2基於決策分析流程的決策樹9
1.6作為機器學習算法的決策樹15
1.6.1機器學習算法的類型15
1.6.2基於數據的決策樹18
1.6.3決策樹算法面臨的基本問題24
1.6.4基於規則的機器學習27
1.7作為特徵學習與決策融合的決策樹30
1.8參考文獻31
第2章經典決策樹算法33
2.1經典決策樹應用的一般流程33
2.1.1缺失值的處理33
2.1.2連續數值屬性的離散化處理34
2.2CART算法34
2.2.1基尼不純度、基尼增益與基尼指數34
2.2.2CART分類決策樹的原理38
2.2.3CART分類決策樹的編程實踐43
2.2.4回歸問題與回歸算法55
2.2.5CART回歸決策樹的特徵和分割點選擇準則65
2.2.6CART回歸決策樹的原理66
2.2.7CART回歸決策樹的編程實踐70
2.3ID3算法75
2.3.1信息熵與信息增益75
2.3.2ID3算法示例78
2.3.3ID3算法的編程實踐84
2.4C4.5算法87
2.4.1信息增益率88
2.4.2連續屬性的處理88
2.4.3缺失值的處理88
2.4.4基於C4.5算法處理連續屬性生成分類決策樹的示例91
2.4.5C4.5算法的後續改進——C5.0算法96
2.5決策樹的評估98
2.6決策樹的5種可視化方法100
2.7小結107
2.8參考文獻107
第3章決策樹的剪枝109
3.1代價複雜度剪枝110
3.1.1CCP算法的基本原理110
3.1.2CCP算法的編程實踐113
3.1.3基於sklearn的CCP示例121
3.2錯誤率降低剪枝127
3.2.1REP算法的基本原理127
3.2.2REP算法的編程實踐128
3.3悲觀錯誤剪枝133
3.3.1PEP算法的基本原理133
3.3.2PEP算法的編程實踐135
3.4最小錯誤剪枝139
3.4.1MEP算法的基本原理139
3.4.2MEP算法的編程實踐140
3.5其他決策樹剪枝算法簡介145
3.6小結147
3.7參考文獻147
第4章隨機森林149
4.1隨機森林的基本原理149
4.1.1構造隨機森林的步驟150
4.1.2隨機森林的簡單示例151
4.1.3基於sklearn的隨機森林編程示例152
4.1.4選擇最優的隨機特徵屬性數量153
4.2套袋法156
4.2.1套袋法的算法流程157
4.2.2套袋法的偏差和方差157
4.2.3套袋法的優缺點159
4.3隨機森林的參數設置與調優159
4.3.1sklearn隨機森林的參數159
4.3.2調參示例161
4.3.3OOB錯誤率與交叉驗證166
4.4隨機森林的優缺點174
4.5使用隨機森林進行特徵屬性的重要性區分的示例175
4.5.1基於基尼指數的特徵屬性重要性評估175
4.5.2基於袋外數據錯誤率的特徵屬性重要性評估177
4.6使用隨機森林進行無監督聚類的示例179
4.7使用隨機森林進行回歸分析的示例182
4.8隨機森林與核方法的結合184
4.9小結186
4.10參考文獻186
第5章集成學習方法188
5.1提升法188
5.1.1AdaBoost算法原理189
5.1.2AdaBoost算法實現199
5.1.3AdaBoost算法的編程實踐——基於sklearn解決分類問題203
5.1.4AdaBoost算法的編程實踐——基於sklearn解決回歸問題205
5.1.5提升法的分類、優點和挑戰207
5.2梯度提升法208
5.2.1梯度提升法的原理和示例208
5.2.2梯度提升決策樹211
5.2.3梯度提升分類決策樹213
5.2.4梯度提升回歸決策樹223
5.2.5隨機梯度提升樹227
5.2.6基於梯度提升法的機器學習庫228
5.3堆疊法233
5.3.1簡單的二階段堆疊算法234
5.3.2基於K折交叉驗證的二階段堆疊法237
5.3.3基於sklearn的K折交叉驗證的二階段堆疊法的編程實踐238
5.3.4多階段堆疊模型247
5.4套袋法、提升法、堆疊法的比較250
5.5小結252
5.6參考文獻253
第6章並行決策樹256
6.1隨機森林的並行化256
6.2XGBoost基礎259
6.2.1XGBoost核心原理260
6.2.2XGBoost系統設計及其並行化加速270
6.2.3XGBoost編程基礎272
6.2.4XGBoost回歸問題編程275
6.2.5XGBoost分類問題編程277
6.2.6XGBoost隨機森林編程278
6.2.7XGBoost特徵篩選編程281
6.2.8XGBoost與傳統提升樹的比較283
6.2.9XGBoost的缺點284
6.3LightGBM基礎284
6.3.1LightGBM核心原理285
6.3.2LightGBM系統設計及其並行化加速291
6.3.3LigthGBM編程基礎294
6.3.4LightGBM與sklearn結合的示例300
6.3.5LightGBM回歸問題編程302
6.3.6LightGBM分類問題編程303
6.3.7LightGBM的優缺點305
6.4CatBoost基礎306
6.4.1CatBoost核心原理306
6.4.2CatBoost系統設計及其並行化加速313
6.4.3CatBoost編程基礎313
6.4.4CatBoost分類問題編程（不帶分類特徵屬性）317
6.4.5CatBoost回歸問題編程（不帶分類特徵屬性）319
6.4.6CatBoost回歸問題編程（帶分類特徵屬性）321
6.4.7CatBoost的優缺點323
6.4.8XGBoost、LightGBM、CatBoost的比較324
6.5NGBoost簡介325
6.6小結326
6.7參考文獻326
第7章蟻群決策樹329
7.1蟻群元啟發式算法329
7.1.1典型蟻群算法330
7.1.2MMAS算法331
7.1.3ACS算法332
7.2基於蟻群的分類規則提取333
7.2.1Ant-Miner規則提取方法334
7.2.2Ant-Miner算法實現339
7.2.3Ant-Miner算法的早期變種345
7.2.4MYRA——開源實現349
7.2.5Ant-MinerMA+G算法350
7.2.6AMclr算法353
7.3蟻群決策樹的算法原理355
7.3.1Ant-Tree-Miner決策樹生成算法356
7.3.2ACDT算法360
7.4自適應蟻群決策森林362
7.4.1自適應ACDF算法364
7.4.2ACDF算法中的長期提升366
7.5小結367
7.6參考文獻367
第8章深度決策樹370
8.1深度森林370
8.1.1gcForest的基本原理370
8.1.2gcForest的編程實踐376
8.1.3DF21開源庫378
8.1.4改進的深度森林模型381
8.2深度神經決策樹381
8.2.1DNDT的基本原理382
8.2.2DNDT的編程實踐385
8.3自適應神經決策樹388
8.3.1ANT的基本原理389
8.3.2ANT的編程實踐392
8.4神經支持決策樹401
8.4.1NBDT的基本原理401
8.4.2NBDT的編程實踐406
8.5深度神經決策森林409
8.5.1dNDF的基本原理410
8.5.2dNDF模型的優缺點414
8.5.3dNDF的編程實踐414
8.6小結421
8.7參考文獻422