機器學習精講：基礎、算法及應用 机器学习精讲:基础、算法及应用

傑瑞米·瓦特（Jeremy Watt），獲得美國西北大學計算機科學與電氣工程專業博士學位，研究興趣是機器學習、計算機視覺和數值優化。
雷薩·博哈尼（Reza Borhani），獲得美國西北大學計算機科學與電氣工程專業博士學位，研究興趣是面向機器學習和計算機視覺問題的算法設計與分析。
阿格洛斯·K.卡薩格羅斯（Aggelos K. Katsaggelos），美國西北大學計算機科學與電氣工程系教授，Joseph Cummings名譽教授，圖像與視頻處理實驗室的負責人。

譯者簡介
楊博，吉林大學計算機科學與技術學院教授，博士生導師。現任吉林大學符號計算與知識工程教育部重點實驗室主任，中國人工智能學會理事，中國人工智能學會知識工程與分佈智能專業委員會副主任委員，中國計算機學會傑出會員。

譯者序
前言
第1章引言
1.1教計算機區分貓和狗
1.2預測學習問題
1.2.1回歸
1.2.2分類
1.3特徵設計
1.4數值優化
1.5小結
第一部分基本工具及概念
第2章數值優化基礎
2.1微積分定義的最優性
2.1.1泰勒級數逼近
2.1.2最優性的一階條件
2.1.3凸性的便利
2.2優化數值方法
2.2.1概覽
2.2.2停止條件
2.2.3梯度下降
2.2.4牛頓法
2.3小結
2.4習題
第3章回歸
3.1線性回歸基礎
3.1.1符號和建模
3.1.2用於線性回歸的最小二乘代價函數
3.1.3最小二乘代價函數的最小化
3.1.4所學模型的效力
3.1.5預測新輸入數據的值
3.2知識驅動的回歸特徵設計
3.3非線性回歸和l2正則化
3.3.1邏輯回歸
3.3.2非凸代價函數和l2正則化
3.4小結
3.5習題
第4章分類
4.1感知機代價函數
4.1.1基本感知機模型
4.1.2softmax代價函數
4.1.3間隔感知機
4.1.4間隔感知機的可微近似
4.1.5所學分類器的精度
4.1.6預測新輸入數據的標籤
4.1.7哪個代價函數會產生最好的結果
4.1.8感知機和計數代價的關聯
4.2邏輯回歸視角下的softmax代價
4.2.1階梯函數和分類
4.2.2凸邏輯回歸
4.3支持向量機視角下的間隔感知機
4.3.1尋找最大間隔超平面
4.3.2硬間隔支持向量機問題
4.3.3軟間隔支持向量機問題
4.3.4支持向量機和邏輯回歸
4.4多分類
4.4.1一對多的多分類
4.4.2多分類softmax分類
4.4.3所學多分類器的精度
4.4.4哪種多分類方法表現最好
4.5面向分類的知識驅動特徵設計
4.6面向真實數據類型的直方圖特徵
4.6.1文本數據的直方圖特徵
4.6.2圖像數據的直方圖特徵
4.6.3音頻數據的直方圖特徵
4.7小結
4.8習題
第二部分完全數據驅動的機器學習工具
第5章回歸的自動特徵設計
5.1理想回歸場景中的自動特徵設計
5.1.1向量逼近
5.1.2從向量到連續函數
5.1.3連續函數逼近
5.1.4連續函數逼近的常見基
5.1.5獲取權重
5.1.6神經網絡的圖表示
5.2真實回歸場景中的自動特徵設計
5.2.1離散化的連續函數逼近
5.2.2真實回歸場景
5.3回歸交叉驗證
5.3.1診斷過擬合與欠擬合問題
5.3.2留出交叉驗證
5.3.3留出交叉驗證的計算
5.3.4k折交叉驗證
5.4哪個基最好
5.4.1理解數據背後的現象
5.4.2實踐方面的考慮
5.4.3什麼時候可任意選擇基
5.5小結
5.6習題
5.7關於連續函數逼近的註釋
第6章分類中的自動特徵設計
6.1理想分類場景中的自動特徵設計
6.1.1分段連續函數逼近
6.1.2指示函數的形式化定義
6.1.3指示函數逼近
6.1.4獲取權重
6.2真實分類場景中的自動特徵設計
6.2.1離散化的指示函數逼近
6.2.2真實的分類場景
6.2.3分類器精度和邊界定義
6.3多分類
6.3.1一對多的多分類
6.3.2多分類softmax分類
6.4分類交叉驗證
6.4.1留出交叉驗證
6.4.2留出交叉驗證的計算
6.4.3k折交叉驗證
6.4.4一對多多分類的k折交叉驗證
6.5哪個基最好
6.6小結
6.7習題
第7章核、反向傳播和正則化交叉驗證
7.1固定特徵核
7.1.1線性代數基本定理
7.1.2核化代價函數
7.1.3核化的價值
7.1.4核的例子
7.1.5核作為相似矩陣
7.2反向傳播算法
7.2.1計算兩層網絡代價函數的梯度
7.2.2計算三層神經網絡的梯度
7.2.3動量梯度下降
7.3 l2正則化交叉驗證
7.3.1l2正則化和交叉驗證
7.3.2回歸的k折正則化交叉驗證
7.3.3分類的正則化交叉驗證
7.4小結
7.5更多的核計算
7.5.1核化不同的代價函數
7.5.2傅里葉核——標量輸入
7.5.3傅里葉核——向量輸入
第三部分大規模數據機器學習方法
第8章高級梯度算法
8.1梯度下降法的固定步長規則
8.1.1梯度下降法和簡單的二次代理
8.1.2有界曲率函數和最優保守步長規則
8.1.3如何使用保守固定步長規則
8.2梯度下降的自適應步長規則
8.2.1回溯線性搜索的自適應步長規則
8.2.2如何使用自適應步長規則
8.3隨機梯度下降
8.3.1梯度分解
8.3.2隨機梯度下降迭代
8.3.3隨機梯度下降的價值
8.3.4隨機梯度下降的步長規則
8.3.5在實踐中如何使用隨機梯度下降法
8.4梯度下降方案的收斂性證明
8.4.1利普希茨常數固定步長梯度下降的收斂性
8.4.2回溯線性搜索梯度下降的收斂性
8.4.3隨機梯度法的收斂性
8.4.4面向凸函數的固定步長梯度下降的收斂速度
8.5計算利普希茨常數
8.6小結
8.7習題
第9章降維技術
9.1數據的降維技術
9.1.1隨機子採樣
9.1.2K均值聚類
9.1.3K均值問題的優化
9.2主成分分析
9.3推薦系統
9.3.1矩陣填充模型
9.3.2矩陣填充模型的優化
9.4小結
9.5習題
第四部分附錄
附錄A基本的向量和矩陣運算
附錄B向量微積分基礎
附錄C基本的矩陣分解及偽逆
附錄D凸幾何
參考文獻
索引