人工智能：機器學習理論與方法

李侃

教授，博士生導師，副所長。
國家重點研發計劃評審專家、國家863項目評審專家，北京市自然科學基金/重點基金評審專家、
博士點基金/博士後基金評審專家，國際期刊NLPR主編，以及其它期刊的編委。
在澳大利亞、加拿大、中國香港等國家、地區任職或學術研究。
目前主要從事機器學習、模式識別及大數據分析方面的研究。
主持了國家重點研發專項課題、國家973課題、863重大和和國家自然科學基金等多項***和部級項目，
獲得了多項國防科技進步獎和校科技成果一等獎等科研獎勵。
在TKDE等國內外期刊、IJCAI、ACM MM等學術會議上發表SCI/EI檢索論文近百篇，發明專利20餘項。
出版了教育部和北京市精品教材、獲得了全國高校人工智能與大數據教學創新獎、T-more優秀教師獎、
迪文優秀教師獎、教學成果獎一等獎等教學獎勵。

第1章緒論
1．1機器學習的定義
1．2機器學習的發展歷史
1．3機器學習的分類
1．3．1基於學習系統的反饋分類
1．3．2基於所獲取知識的表示形式分類
1．3．3按應用領域分類
1．3．4綜合分類
1．4性能度量
1．4．1數據集
1．4．2誤差
1．4．3過擬合與欠擬合
1．4． 4評估方法
1．4．5性能度量指標
1．5本章小結

第2章EM算法和高斯模型
2．1EM算法
2．1．1極大似然估計
2．1．2EM算法的引入
2．1． 3EM算法的推導
2．1．4EM算法的步驟
2．1．5EM算法的收斂性
2．2高斯模型
2．2．1單高斯模型
2．2．2高斯混合模型
2．2．3GMM參數估計
2 ．3本章小結

第3章主題模型
3．1傳統的主題模型
3．1．1VSM模型
3．1．2LSI模型
3．2概率主題模型
3．2．1LDA主題模型
3．2．2HDP-LDA主題模型
3．3具有zipf定律性質的主題模型
3．3．1PY過程
3．3．2PHTM主題模型
3．4PHTM推理算法
3．4．1算法描述
3．4．2實驗
3．5本章小結

第4章抽樣與非參數貝葉斯方法
4．1單個隨機變量抽樣
4． 1．1通過逆累積分佈函數抽樣
4．1．2拒絕抽樣（Rejection Sampling）
4．1．3重要性抽樣（Importance Sampling）
4．2序列隨機變量抽樣與馬爾可夫鏈蒙特卡洛
4．2 ．1MH算法
4．2．2吉布斯抽樣
4．2．3切片抽樣（Slice Sampling）
4．3非參數貝葉斯模型與狄利克雷過程
4．3．1非參數貝葉斯模型
4． 3．2狄利克雷過程
4．4狄利克雷過程的構造方式
4．4．1波利亞壇子過程
4．4．2折棍子過程
4．4．3中餐館過程
4．5本章小結

第5章聚類分析
5．1數據相似性度量
5．2經典聚類算法
5．2．1劃分算法
5．2．2層次聚類算法
5．2．3基於密度的聚類算法
5．2．4基於網格的聚類算法
5．2．5基於模型的聚類算法
5．3K均值算法、K中心點算法及其改進算法
5．3．1K均值算法
5．3．2K中心點算法
5．3．3核K均值算法
5．3．4EM聚類
5．3．5基於隨機搜索應用於大型應用的聚類算法CLARANS
5．4譜聚類
5．4 ．1相似圖
5．4．2拉普拉斯矩陣
5．4．3譜聚類算法
5．5基於約束的聚類
5．5．1含有障礙物的對象聚類
5．5．2用戶約束的聚類分析
5．5．3半監督聚類分析
5．6在線聚類
5．7聚類與降維
5．8本章小結

第6章支持向量機
6．1統計學習理論
6．1．1經驗風險最小化
6．1．2VC維
6．1．3結構風險最小化
6．2支持向量機的基本原理
6．3支持向量機分類器
6．3．1線性支持向量機分類器
6．3 ．2非線性可分的支持向量機分類器
6．3．3一類分類
6．3．4多類分類
6．4核函數
6．4．1核函數的定義
6．4．2核函數的構造
6．4．3幾種常用的核函數
6．5支持向量回歸機
6．6支持向量機的應用實例
6．6．1圖像分類
6．6．2其他應用
6．7本章小結

第7章概率無向圖模型
7．1概率無向圖模型概述
7．2邏輯斯諦回歸模型
7．2．1邏輯斯諦函數與分佈
7．2．2極大似然估計模型參數
7． 3最大熵模型
7．3．1最大熵原理
7．3．2最大熵模型概述
7．4條件隨機場
7．4．1模型
7．4．2條件隨機場的關鍵問題
7．5本章小結

第8章概率有向圖模型
8．1概率有向圖模型概述
8．2貝葉斯網絡
8．2．1貝葉斯定理
8．2．2有向分離
8．2．3貝葉斯網絡構造
8．2．4貝葉斯網絡學習
8．3隱馬爾可夫模型
8．3．1隱馬爾可夫模型描述
8．3．2隱馬爾可夫模型的三個基本問題
8．4本章小結

第9章矩陣與張量分解
9．1等值與低軼矩陣分解
9．2非負矩陣分解
9．3矩陣分解與推薦系統
9．4張量分解
9．5非負張量分解
9．6本章小結

第10章多層感知機
10．1感知機
10．2多層感知機概述
10．2．1誤差反傳算法
10．2．2多層感知機的優勢和局限性
10．2．3BP算法的改進
10．3本章小結

第11章卷積神經網絡
11．1卷積神經網絡的生物學基礎
11．2卷積神經網絡的結構元件
11．2．1卷積層
11．2．2池化層
11 ．2．3激活層
11．2．4全連接層
11．3典型的捲積神經網絡
11．3．1AlexNet
11．3．2VGG
11．3．3GoogLeNet
11．3．4ResNet
11．3．5DenseNet
11． 4卷積神經網絡的訓練技巧
11．4．1批歸一化
11．4．2隨機失活
11．5本章小結

第12章循環神經網絡
12．1循環神經網絡結構
12．2循環神經網絡的訓練
12．2．1損失函數
12．2．2時間反向傳播算法
12．2．3梯度消失與梯度爆炸
12．3雙向循環神經網絡與深度循環神經網絡
12．4長短期記憶網絡
12．4 ．1LSTM記憶單元
12．4．2LSTM記憶方式
12．5門控循環單元
12．6本章小結

第13章強化學習
13．1強化學習模型及基本要素
13．1．1強化學習模型
13．1．2強化學習基本要素
13．2馬爾可夫決策過程
13．2．1馬爾可夫過程
13．2．2馬爾可夫決策過程概述
13．3部分可觀測的馬爾可夫決策過程
13．4模型已知的強化學習
13 ．4．1線性規劃
13．4．2策略迭代
13．4．3值迭代
13．4．4廣義策略迭代
13．5模型未知的強化學習
13．5．1蒙特卡洛方法
13．5．2時間差分法
13．5．3Q學習與SARSA學習
13．5．4Actor-Critic學習
13．6基於逼近方法的強化學習
13．6．1值函數逼近的TD學習
13．6．2近似值迭代方法
13． 6．3近似策略迭代
13．7深度強化學習
13．7．1深度Q學習（Deep Q-learning）
13．7．2深度雙Q學習
13．7．3異步深度Q學習
13．7．4其他深度強化學習
13．8本章小結
參考文獻