機器學習與優化 机器学习与优化

作者:[意]羅伯托·巴蒂蒂（Roberto Battiti） ，毛羅·布魯納托（Mauro Brunato）譯者:王彧弋

羅伯托·巴蒂蒂（Roberto Battiti）
人工智能領域先驅，IEEE會士。因在無功搜索優化（RSO）方向做出了開創性的工作而名震學界。目前為意大利特倫託大學教授，同時擔任特倫託大學機器學習與智能優化實驗室（LION lab）主任。

毛羅·布魯納托（Mauro Brunato）
意大利特倫託大學助理教授，LION研究團隊成員。
 

第1章引言1 
1.1學習與智能優化：燎原之火1 
1.2尋找黃金和尋找伴侶3 
1.3需要的只是數據5 
1.4超越傳統的商業智能5 
1.5 LION方法的實施6 
1.6 “動手”的方法6 

第2章懶惰學習：最近鄰方法9 

第3章學習需要方法14 
3.1從已標記的案例中學習：最小化和泛化16 
3.2學習、驗證、測試18 
3.3不同類型的誤差21 

第一部分監督學習
第4章線性模型26 
4.1線性回歸27 
4.2處理非線性函數關係的技巧28 
4.3用於分類的線性模型29 
4.4大腦是如何工作的30 
4.5線性模型為何普遍，為何成功31 
4.6最小化平方誤差和32 
4.7數值不穩定性和嶺回歸34 

第5章廣義線性最小二乘法37 
5.1擬合的優劣和卡方分佈38 
5.2最小二乘法與最大似然估計42 
5.2.1假設檢驗42 
5.2.2交叉驗證44 
5.3置信度的自助法44
 
第6章規則、決策樹和森林50 
6.1構造決策樹52
6.2民主與決策森林56 

第7章特徵排序及選擇59 
7.1特徵選擇：情境60 
7.2相關係數62 
7.3相關比63 
7.4卡方檢驗拒絕統計獨立性64 
7.5熵和互信息64 

第8章特定非線性模型67 
8.1 logistic回歸67 
8.2局部加權回歸69 
8.3用LASSO來縮小係數和選擇輸入值72 

第9章神經網絡：多層感知器76 
9.1多層感知器78 
9.2通過反向傳播法學習80 
9.2.1批量和bold driver反向傳播法81 
9.2.2在線或隨機反向傳播82 
9.2.3訓練多層感知器的高級優化83 

第10章深度和卷積網絡84 
10.1深度神經網絡85 
10.1.1自動編碼器86 
10.1.2隨機噪聲、屏蔽和課程88 
10.2局部感受野和卷積網絡89 

第11章統計學習理論和支持向量機94 
11.1經驗風險最小化96 
11.1.1線性可分問題98 
11.1.2不可分問題100 
11.1.3非線性假設100 
11.1.4用於回歸的支持向量101 

第12章最小二乘法和健壯內核機器103
12.1最小二乘支持向量機分類器104 
12.2健壯加權最小二乘支持向量機106 
12.3通過修剪恢復稀疏107 
12.4算法改進：調諧QP、原始版本、無補償108 

第13章機器學習中的民主110 
13.1堆疊和融合111 
13.2實例操作帶來的多樣性：裝袋法和提升法113 
13.3特徵操作帶來的多樣性114 
13.4輸出值操作帶來的多樣性：糾錯碼115 
13.5訓練階段隨機性帶來的多樣性115 
13.6加性logistic回歸115 
13.7民主有助於準確率－拒絕的折中118 

第14章遞歸神經網絡和儲備池計算121 
14.1遞歸神經網絡122 
14.2能量極小化霍普菲爾德網絡124 
14.3遞歸神經網絡和時序反向傳播126 
14.4遞歸神經網絡儲備池學習127 
14.5超限學習機128 

第二部分無監督學習和聚類
第15章自頂向下的聚類：K均值132 
15.1無監督學習的方法134 
15.2聚類：表示與度量135 
15.3硬聚類或軟聚類的K均值方法137 

第16章自底向上（凝聚）聚類142 
16.1合 並標準以及樹狀圖142 
16.2適應點的分佈距離：馬氏距離144
16.3附錄：聚類的可視化146 

第17章自組織映射149 
17.1將實體映射到原型的人工皮層150 
17.2使用成熟的自組織映射進行分類153 

第18章通過線性變換降維（投影） 155 
18.1線性投影156 
18.2主成分分析158 
18.3加權主成分分析：結合坐標和關係160 
18.4通過比值優化進行線性判別161 
18.5費希爾線性判別分析163 

第19章通過非線性映射可視化圖與網絡165 
19.1最小應力可視化166 
19.2一維情況：譜圖繪製168 
19.3複雜圖形分佈標準170 

第20章半監督學習174 
20.1用部分無監督數據進行學習175 
20.1.1低密度區域中的分離177 
20.1.2基於圖的算法177 
20.1 .3學習度量179 
20.1.4集成約束和度量學習179 

第三部分優化：力量之源
第21章自動改進的局部方法184 
21.1優化和學習185 
21.2基於導數技術的一維情況186 
21.2.1導數可以由割線近似190 
21.2.2一維最小化191 
21.3求解高維模型（二次正定型） 191
21.3.1梯度與最速下降法194 
21.3.2共軛梯度法196 
21.4高維中的非線性優化196 
21.4.1通過線性查找的全局收斂197 
21.4.2解決不定黑塞矩陣198 
21.4.3與模型信賴域方法的關係199 
21.4.4割線法200 
21.4.5縮小差距：二階方法與線性複雜度201 
21.5不涉及導數的技術：反饋仿射振盪器202 
21.5.1 RAS：抽樣區域的適應性203 
21.5 .2為健壯性和多樣化所做的重複205 

第22章局部搜索和反饋搜索優化211 
22.1基於擾動的局部搜索212 
22.2反饋搜索優化：搜索時學習215 
22.3基於禁忌的反饋搜索優化217 

第23章合作反饋搜索優化222 
23.1局部搜索過程的智能協作223 
23.2 CoRSO：一個政治上的類比224 
23.3 CoRSO的例子：RSO與RAS合作226 

第24章多目標反饋搜索優化232 
24.1多目標優化和帕累托最優233 
24.2腦－計算機優化：循環中的用戶235 

第四部分應用精選
第25章文本和網頁挖掘240 
25.1網頁信息檢索與組織241 
25.1.1 爬蟲241
25.1.2索引242 
25.2信息檢索與排名244 
25.2.1從文檔到向量：向量－空間模型245 
25.2.2相關反饋247 
25.2.3更複雜的相似性度量248 
25.3使用超鏈接來進行網頁排名250 
25.4確定中心和權威：HITS 254 
25.5聚類256 

第26章協同過濾和推薦257 
26.1通過相似用戶結合評分258 
26.2基於矩陣分解的模型260 
參考文獻263 
索引269