機器學習聖經：最完整的統計學習方法

第一版熱賣加印十幾萬冊！第二版內容更完整！
☆☆統計學習方法全書☆☆

【本書內容】
統計學習方法即為機器學習方法，是電腦及其應用領域的重要學科之一。
本書分為監督學習、無監督學習兩篇，全面系統地介紹了統計學習的主要方法。
將監督學習和無監督學習中最常用、最重要的各類方法以系統性的方式論述，每章講解一種方法，各章內容相對獨立且完整，也有相關習題、參考文獻，並於最後加以總結。讀者可以將全書詳讀，也可以選擇單章細讀。期望讓讀者可以順利掌握完整又清晰的相關知識，進而打下穩固的基礎，並能準確地使用。

本書涵蓋感知機、k近鄰法、單純貝氏法、決策樹、邏輯回歸及最大熵模型、支持向量機、提升方法、EM演算法、隱馬可夫模型、條件隨機場、聚類法、奇異值分解(SVD)、主成分分析(PCA)、潛在語義分析、機率潛在語義分析、馬可夫鏈蒙地卡羅法、潛在狄利克雷分配(LDA)、PageRank演算法等。

【適合讀者群】
．具高等數學、線性代數和機率統計的基礎知識
．從事資訊檢索、自然語言處理、文字資料探勘等領域的學生與研究人員
．從事電腦應用相關專業的研究人員
 

序

【第二版序言】
本書第1版於2012年出版，說明了統計機器學習方法，主要是一些常用的監督學習方法。第2版增加了一些常用的無監督學習方法，由此本書涵蓋了傳統統計機器學習方法的主要內容。

在撰寫《統計學習方法》伊始，對全書內容做了初步規劃。第1版出版之後，即著手無監督學習方法的寫作。由於寫作是在業餘時間進行，常常被主要工作打斷，歷經六年多時間才使這部分工作得以完成。猶未能加入深度學習和強化學習等重要內容，希望今後能夠增補，完成整本書的寫作計畫。

《統計學習方法》第1版的出版正值巨量資料和人工智慧的熱潮，生逢其時，截至2019年4月本書共印刷25次，152000冊，獲得了讀者們的歡迎和支持。有許多讀者指出本書對學習和掌握機器學習技術有極大的幫助，也有許多讀者透過電子郵件、微博等方式指出書中的錯誤，提出改進的建議和意見。一些大專院校將本書作為機器學習課程的教材或參考書。有的同學在網上發表了讀書筆記，有的同學將本書介紹的方法在電腦上實現。清華大學深圳研究所學生院袁春老師精心製作了第1版十二章的教材，在網上公佈，為大家提供教學之便。許多老師、同學、讀者的支持和鼓勵，讓作者深受感動和鼓舞。在這裡向所有的老師、同學、讀者致以誠摯的謝意！

能為電腦科學、人工智慧領域做出一點微薄的貢獻，感到由衷的欣慰，同時也感受到作為知識傳播者的重大責任，讓作者決意把本書寫好。也希望大家今後不吝指教，多提寶貴意見，以幫助繼續提高本書的品質。在寫作中作者也深切體會到教學相長的道理，經常發現自己對基礎知識的掌握不夠紮實，透過寫作得以對相關知識進行了深入的學習，受益匪淺。

本書是一部機器學習的基本讀物，要求讀者擁有高等數學、線性代數和機率統計的基礎知識。書中主要說明統計機器學習的方法，力求系統全面又簡明扼要地闡述這些方法的理論、演算法和應用，讓讀者能對這些機器學習的基本技術有很好的掌握。針對每個方法，詳細介紹其基本原理、基礎理論、實際演算法，舉出細緻的數學推導和具體實例，既幫助讀者理解，也便於日後複習。

第2版增加的無監督學習方法，王泉、陳嘉怡、柴琛林、趙程綺等幫助做了認真細緻的校閱，提出了許多寶貴意見，在此謹對他們表示衷心的感謝。清華大學出版社的薛慧編輯一直對本書的寫作給予非常專業的指導和幫助，在此對她表示衷心的感謝！

由於本人水準有限，本書一定存在不少錯誤，懇請各位專家、老師和同學批評指正。

李航

【第一版序言】
電腦與網路已經融入人們的日常學習、工作和生活之中，成為人們不可或缺的幫手和夥伴。電腦與網路的高速發展完全改變了人們的學習、工作和生活方式。智慧化是電腦研究與開發的主要目標。近幾十年來的實踐表明，統計機器學習方法是實現這一目標的最有效手段，儘管它還會有著一定的局限性。

本人一直從事利用統計學習方法對文字資料進行各種智慧性處理的研究，包括自然語言處理、資訊檢索、文字資料探勘。近20年來，這些領域發展之快，應用之廣，實在令人驚歎！可以說，統計機器學習是這些領域的核心技術，在這些領域的發展及應用中起著決定性的作用。

本人在日常的研究工作中經常指導學生，並在國內外一些大學及講習班上多次做過關於統計學習的報告和演講。在這一過程中，同學們學習熱情很高，希望得到指導，這使作者產生了撰寫本書的想法。

國內外已出版了多本關於統計機器學習的書籍，比如，Hastie等人的《統計學習基礎》，該書對統計學習的諸多問題有非常精闢的論述，但對初學者來說顯得有些深奧。統計學習範圍甚廣，一兩本書很難覆蓋所有問題。本書主要是面向將統計學習方法作為工具導向的科學研究人員與學生，特別是從事資訊檢索、自然語言處理、文字資料探勘及相關領域的研究與開發的科學研究人員與學生。

本書力求系統而詳細地介紹統計學習的方法。在內容選取上，偏重介紹那些最重要、最常用的方法，特別是關於分類與標注問題的方法。對其他問題及方法，如聚類等，計畫在今後的寫作中再加以介紹。在敘述方式上，每一章說明一種方法，各章內容相對獨立、完整；同時力圖用統一框架來論述所有方法，使全書整體不失系統性，讀者可以從頭到尾通讀，也可以選擇單一章節細讀。對每一種方法的說明力求深入淺出，舉出必要的推導證明，提供簡單的實例，使初學者易於掌握該方法的基本內容，領會方法的本質，並準確地使用方法。對相關的深層理論，則予以簡述。在每章後面，舉出一些習題，介紹一些相關的研究動向和閱讀材料，列出參考文獻，以滿足讀者進一步學習的需求。本書第1章簡要敘述統計學習方法的基本概念，最後一章對統計學習方法進行比較與複習。此外，在附錄中簡介一些共用的最佳化理論與方法。

本書可以作為統計機器學習及相關課程的教學參考書，適用於資訊檢索及自然語言處理等專業的大學生、研究所學生。

本書初稿完成後，田飛、王佳磊、武威、陳凱、伍浩鋮、曹正、陶宇等人分別審閱了全部或部分章節，提出了許多寶貴意見，對本書品質的提高有很大幫助，在此向他們表示衷心的感謝。在本書寫作和出版過程中，清華大學出版社的責任編輯薛慧給予了很多幫助，在此特向她致謝。

由於本人水準所限，書中難免有錯誤和不當之處，歡迎各位專家和讀者給予批評指正。