機器學習觀止——核心原理與實踐

林學森，香港中文大學研究生學歷，現為某世界100強科技公司首席技術專家、資深架構師。
在系統軟件、人工智能、軟件工具鏈、分佈式系統等領域具備多年的技術研發與項目管理經驗。
另著有《深入理解Android內核設計思想》《Android應用程序開發權威指南》等書籍。

封面
版權頁
內容簡介
作者簡介
前言

機器學習基礎知識篇

第1章人工智能概述
1.1人工智能的定義
1.2人工智能發展簡史
1.2.1史前文明，曙光初現（1956年前）
1.2.2初出茅廬，一戰成名（1956—1974年）
1.2.3寒風凜冽，首次入冬（1974—1980年）
1.2.4捲土重來，威震八方（1980—1987年）
1.2.5失望瀰漫，再度入冬（1987— 1993年）
1.2.6重出江湖，漸入佳境（1993年至今）
1.3人工智能經典流派
1.3.1符號主義
1.3.2連接主義
1.3.3行為主義
1.3.4貝葉斯派
1.4人工智能與機器學習
1.5如何選擇機器學習算法
1.5.1沒有免費的午餐理論
1.5.2 Scikit Learn小抄
1.5.3 Microsoft Azure小抄
1.6機器學習的典型應用場景
1.6.1計算機圖像領域
1.6.2自然語言處理簡述及其應用
1.6.3製造業中的預測性維護
1.6.4軟件自動化開發和測試
1.7本書的組織結構

第2章機器學習中的數學基礎
2.1微分學
2.1.1鍊式求導法則
2.1.2對數函數求導
2.1.3梯度和梯度下降算法
2.2線性代數
2.2.1向量
2.2.2矩陣拼接
2.2. 3特徵值和特徵向量
2.2.4仿射變換
2.3概率論
2.3.1概率分佈
2.3.2先驗／後驗概率
2.3.3最大似然估計
2.3.4貝葉斯法則
2.4統計學
2.4.1數據的標準化和歸一化
2.4.2標準差
2.4.3方差和偏差
2.4.4協方差和協方差矩陣
2.5最優化理論
2.5.1概述
2.5.2函數等高線
2.5.3拉格朗日乘子法
2.5.4拉格朗日對偶性
2.5.5 KKT
2.6其他
2.6.1訓練、驗證和測試數據集
2.6.2過擬合和欠擬合
2.6.3奧卡姆的剃刀
2.6.4信息熵
2.6 .5 IOU
2.6.6 NMS
2.6.7 Huffman樹

第3章機器學習模型的度量指標
3.1 Precision、Recall和mAP
3.2 F_1 Score
3.3混淆矩陣
3.4 ROC
3.5 AUC
3.6 PRC
3.7工業界使用的典型AI指標

經典機器學習篇

第4章回歸算法
4.1回歸分析
4.2線性回歸
4.2.1線性回歸的定義
4.2. 2線性回歸的損失函數
4.2.3線性回歸範例
4.3邏輯回歸
4.3.1邏輯回歸——二分類
4.3.2邏輯回歸——多分類及Softmax

第5章K-NN算法
5.1 K-NN概述
5.2 K- NN分類算法
5.3 K-NN回歸算法
5.4 K-NN的優缺點
5.4.1 K-NN的優點
5.4.2 K-NN的缺點
5.5 K-NN工程範例

第6章k-means
6.1 k-means概述
6.2 k-means核心算法
6.3 k-means算法的優缺點
6.3.1 k-means算法的優點
6.3.2 k-means算法的缺點
6.4 k-means工程範例

第7章樸素貝葉斯
7.1樸素貝葉斯分類算法
7.2樸素貝葉斯的實際應用

第8章決策樹和隨機森林
8.1決策樹
8.1.1決策樹的主要組成元素
8.1.2決策樹的經典算法
8.1.3決策樹的優缺點
8.1.4決策樹的過擬合和剪枝
8.2隨機森林

第9章支持向量機
9.1 SVM可以做什麼
9.2 SVM的數學表述
9.2.1決策面的數學表述
9.2.2分類間隔的數學表述
9.2. 3比較超平面的數學公式
9.2.4最優決策面的數學表述
9.3 SVM相關的最優化理論
9.3.1感知機學習算法
9.3.2 SVM最優化問題
9.4硬間隔SVM
9.5軟間隔SVM
9.6核函數技巧
9.7多分類SVM
9.8 SVM實踐

第10章PCA降維
10.1降維概述
10.2 PCA降維實現原理
10.2.1 PCA的直觀理解
10.2.2 PCA的理論基礎——最大方差理論
10.2.3 PCA的核心處理過程
10.3 PCA實例

第11章集成學習
11.1集成學習概述
11.2集成學習架構
11.2.1聚合法
11.2.2提升法
11.2.3堆疊法
11.3典型的集成方法
11.3.1平均法
11.3.2投票法
11.3.3學習法

深度學習進階篇

第12章深度神經網絡
12.1神經元
12.2激活函數
12.2.1 Sigmoid
12.2.2 tanh
12.2.3 ReLU
12.2.4 Leaky ReLU
12.2.5 ReLU的其他變種
12.2.6激活函數的選擇
12.3前向傳播和後向傳播算法
12.4損失函數
12.4 .1分類場景
12.4.2回歸場景
12.4.3其他任務類型的損失函數

第13章卷積神經網絡
13.1 CNN發展歷史簡述
13.2 CNN的核心組成元素
13.2.1卷積層
13.2.2池化層
13.2 .3全連接層
13.2.4 Softmax層
13.3 CNN經典框架
13.3.1 LeNet
13.3.2 AlexNet
13.3.3 VGG
13.3.4 GoogLeNet
13.3.5 ResNet
13.4 CNN的典型特性
13.4.1 CNN位移不變性
13.4.2 CNN尺度不變性
13.4.3 CNN旋轉不變性
13.4.4 CNN視角不變性

第14章RNN與LSTM
14.1 RNN
14.2 RNN的多種形態
14.3 RNN存在的不足
14.4 LSTM
14.5 LSTM核心框架
14.5.1遺忘門
14.5.2輸入門
14.5.3輸出門
14.6 GRU

第15章深度強化學習
15.1強化學習和MDP
15.1.1強化學習的基礎概念
15.1.2 MDP
15.1.3強化學習的核心三要素
15.2 MDP問題的解決方案分類
15.3基於模型的動態規划算法
15.4基於無模型的強化學習算法
15.4.1蒙特·卡羅強化學習算法
15.4.2時間差分算法
15.5 DQN
15.6基於策略的強化學習算法
15.6.1有限差分策略梯度
15.6.2蒙特·卡羅策略梯度

第16章MCTS
16.1 MCTS概述
16.2 MCTS算法核心處理過程
16.3 UCB和UCT
16.4 MCTS實例解析

機器學習應用實踐及相關原理

第17章數據集的建設
17.1數據集建設的核心目標
17.2數據採集和標註
17.2.1數據從哪來
17.2.2數據分佈和多樣性
17.2.3如何擴大數據量
17.3數據分析和處理
17.3.1數據集分析的典型方法
17.3.2標籤類別合理性
17.3.3數據清洗

第18章CNN訓練技巧
18.1數據預處理
18.1.1數據零中心化
18.1.2數據標準化
18.1.3尺寸調整
18.1.4其他
18.2數據增強
18.3 CNN核心組件擇優
18.3.1激活函數
18.3.2超參數設定
18.4參數初始化策略
18.4.1全零初始化策略
18.4.2隨機初始化策略
18.4.3採用預訓練模型
18.5模型過擬合解決方法
18.5.1正則化
18.5.2批標準化
18.6模型的可解釋性
18.6.1反捲積網絡
18.6.2類別激活映射
18.6.3 LIME
18.6.4可視化集成工具Darkon
18.7 Auto ML

第19章CV和視覺識別經典模型
19.1 CV發展簡史
19.2視覺識別概述
19.3 R-CNN
19.3 .1 R-CNN簡述
19.3.2 R-CNN中的候選區域
19.3.3 R-CNN算法處理流程
19.4 Fast R-CNN
19.5 SPP-Net
19.5.1空間金字塔池化
19.5.2特徵圖和原圖的映射關係
19.5.3基於SPP-Net的目標識別
19.6 Faster R-CNN
19.6.1 Faster R-CNN簡述
19.6.2候選區域網絡
19.6.3分類器和邊框回歸
19.7 YOLO
19.8 SSD
19.8.1 SSD的網絡框架
19.8.2 SSD的應用推理過程
19.8.3 SSD的性能評估和缺點
19.9不基於CNN來實現目標識別
19.9.1相關的OpenCV函數
19.9.2利用OpenCV識別形狀物體範例

第20章自然語言處理和CNN
20.1 NLP簡述
20.2 NLP發展歷史
20.3自然語言基礎
20.4詞的表達方式
20.5自然語言模型
20.5.1基於N-Gram的語言模型
20.5.2基於神經網絡的語言模型——經典NNLM
20.5.3基於神經網絡的語言模型——NNLM的改進者CBOW模型
20.5.4基於神經網絡的語言模型——NNLM的改進者Skip-gram模型
20.6 word2vec
20.6.1 word2vec簡介
20.6.2 word2vec源碼與編譯
20.6.3 word2vec使用範例
20.7常用語料庫
20.8 NLP應用：文本分類
20.8.1傳統的文本分類方法
20.8.2基於深度學習的文本分類方法

第21章自然語言處理和CNN
21.1應用程序場景識別背景
21.2特徵向量
21.3數據採集
21.4算法模型
21.5落地應用

第22章軟件自動修復
22.1什麼是軟件自動修復
22.1.1軟件自動修復的定義
22.1.2軟件自動修復的價值
22.2軟件自動修復基礎知識
22.2.1軟件自動修復技術分類
22.2.2軟件自動修復基礎概念
22.3階段1：缺陷定位
22.3.1基於程序頻譜的缺陷定位
22.3.2 SFL中測試套件的構造
22.3.3 SFL中程序頻譜的構造
22.4階段2：補丁生成
22.4.1基於搜索的補丁生成和自動修復
22.4.2基於模板的補丁生成和自動修復
22.5 APR領域經典框架
22.5.1 Facebook SapFix
22.5.2 Microsoft DeepCoder
22.5.3 GenProg

第23章基於強化學習的經典應用——AlphaGO
23.1 AlphaGO簡述
23.2 AlphaGO核心原理
23.3策略網絡
23.4估值網絡
23.5 MCTS

機器學習平台篇

第24章分佈式機器學習框架基礎知識
24.1分佈式機器學習核心理念
24.2 GPU硬件設備
24.2.1 GPU架構
24.2.2 GPU的共享訪問
24.3網絡標準
24.3.1 Ethernet
24.3.2 InfiniBand
24.4分佈式通信框架
24.4.1 MPI
24.4.2 P2P和聚合通信
24.4.3 NCCL
24.4.4 NV-Link
24.4.5 RDMA
24.5經典分佈式ML框架Caffe-MPI

第25章Tensorflow
25.1 Tensorflow安裝過程
25.2 Tensorflow基礎知識
25.2.1 Tensorflow核心概念
25.2.2 Tensorflow模型／數據的保存和恢復
25.2.3 Tensorflow模型fine-tuning
25.2.4 Tensorflow模型調試
25.2.5 Tensorflow的多語言支持
25.2.6可視化利器TensorBoard
25.3 Tensorflow分佈式訓練
25.3.1 Tensorflow的分佈式原理
25.3.2單機多GPU下的並行計算
25.3.3多機多GPU下的分佈式計算
25.4 Tensorflow分佈式部署
25.4.1 Tensorflow Serving概述
25.4.2基於GPU的Tensorflow Serving
25.4.3 Tensorflow Serving的核心概念
25.4.4 Tensorflow模型分佈式部署實例
25.5 Tensorflow範例解析
25.6 Tensorflow的“變種”
25.6.1 Tensorflow Lite
25.6.2 Tensorflow RS

第26章Caffe
26.1 Caffe的安裝
26.1.1 Ubuntu下安裝Caffe
26.1.2 Windows下安裝Caffe
26.2 Caffe支持的數據集格式
26.2.1 LevelDB
26.2.2 LMDB
26.2.3數據庫的生成
26.3 Caffe中的網絡模型構建
26.4 Google Protocol Buffer
26.5 Caffe2源碼結構
26.6 Caffe工程範例
26.7 Caffe中的Model Zoo

第27章scikit-learn
27.1 scikit-learn的安裝
27.2 scikit-learn中的機器學習算法
27.2.1分類
27.2. 2回歸
27.2.3聚類
27.2.4降維
27.3 scikit-learn中的Model selection
27.3.1網絡搜索
27.3.2交叉驗證
27.3.3度量標準
27.4 scikit-learn中的預處理
27.4.1數據標準化等預處理
27.4.2數據特徵提取預處理

第28章主流AI雲平台
28.1 Microsoft OpenPAI
28.2 Google Cloud
28.3 Baidu
28.3.1百度AI雲服務
28.3.2 PaddlePaddle
28.4 Alibaba
28.4.1阿里飛天平台
28.4.2 MaxCompute平台
28.4.3 PAI

第29章圖像處理基礎
29.1光、色彩和人類視覺系統
29.2圖像的顏色模型
29.3圖像的基本屬性
29.3.1灰度值
29.3.2亮度
29.3.3對比度
29.3.4色相
29.3.5飽和度
29.4圖像特徵
29.4.1顏色特徵
29.4.2紋理特徵
29.4.3形狀特徵
29.5圖像的典型特徵描述子
29.5.1 LBP
29.5.2 HOG
29.5.3 Haar-like特徵
29.5.4圖像的傅里葉變換
29.6圖像處理實例（圖像質量檢測）

第30章程序切片技術
30.1程序切片綜述
30.2程序切片基礎知識
30.2.1控制流圖
30.2.2控制流分析
30.2.3數據流
30.3靜態切片技術
30.3.1基本定義
30.3.2靜態切片算法
30.4動態切片技術
30.4.1動態切片基本概念
30.4.2動態切片算法概述
30.4.3基於PDG的動態切片算法

第31章人工智能概述
31.1 ImageNet簡述
31.2 ImageNet的構建邏輯
31.3 ImageNet數據源的選擇與處理
31.4 ImageNet的下載

參考文獻