機器學習——數據表示學習及應用

陳俊龍，博士、教授、博士生導師。現任華南理工大學計算機科學與工程學院院長，中國自動化學會副理事長，教育部健康智能感知與數字平行人工程研究中心主任，廣東省計算智能與網絡空間信息重點實驗室主任，電氣電子工程師協會會士（IEEE Fellow）、美國科學促進會會士（AAAS Fellow）、國際模式識別學會會士（IAPR Fellow）、中國自動化學會會士（CAA Fellow）、香港工程師學會會士（HKIE Fellow）,歐洲科學院（Academia Europaea）院士,歐洲科學與藝術院（European Academy of Sciences and Arts）院士。曾任IEEE兩個頂級學術期刊的主編。連續5年（2018一2022）入選科睿唯安（Clarivate Analytic）計算機科學及工程學雙學科全球“高被引科學家”。2018年榮獲IEEE系統科學控制論的最高學術獎——IEEE諾伯特·維納獎（Norbert Wiener Award）。榮獲2021年度IEEE Joseph G.Wohl終身成就獎及第十一屆“吳文俊人工智能傑出貢獻獎”。

 

目錄

 

 

第1章緒論

 

1.1機器學習簡介

 

1.2特徵工程與數據表示學習

 

1.3數學與概率基礎

 

第2章傳統降維方法

 

2.1主成分分析

 

2.1.1標準的主成分分析

 

2.1.2核主成分分析

 

2.2多維尺度變換

 

2.2.1多維尺度變換的定義

 

2.2.2多維尺度變換的求解

 

2.3流形學習

 

2.3.1等距特徵映射

 

2.3.2局部線性嵌入

 

2.3.3拉普拉斯特徵映射

 

2.3.4局部切空間排列

 

2.3.5生成拓撲映射

 

2.4t分佈隨機鄰域嵌入

 

2.5自編碼器

 

2.5.1基本概念

 

2.5.2輸出層的激活函數

 

2.5.3損失函數

 

2.5.4自編碼器與主成分分析的比較

 

參考文獻

 

第3章分佈式表示學習和聚類算法

 

3.1分佈式表示學習的概念

 

3.2Kmeans算法和K近鄰算法

 

3.2.1Kmeans算法

 

3.2.2Kmeans的改進

 

3.2.3K近鄰算法

 

3.2.4KNN的改進

 

3.3原型聚類算法

 

3.3.1學習向量量化算法

 

3.3.2高斯混合聚類算法

 

3.4基於密度的聚類算法

 

3.4.1DBSCAN算法

 

3.4.2OPTICS算法

 

3.4.3DENCLUE算法

 

3.5層次聚類

 

3.5.1層次聚類方法鏈接

 

3.5.2經典層次聚類算法的步驟

 

3.5.3層次聚類的改進算法

 

參考文獻

 

第4章稀疏表示學習

 

4.1引言

 

4.2稀疏表示學習簡介

 

4.2.1專業名詞解析

 

4.2.2L1正則化

 

4.2.3奇異值分解

 

4.2.4缺失數據和矩陣填充

 

4.2.5有限等距性質

 

4.2.6信號與稀疏表示

 

4.2.7正交基

 

4.2.8用正交基逼近

 

4.2.9用過完備基重構

 

4.3匹配追蹤算法

 

4.3.1字典構建

 

4.3.2通過DCT基構建字典

 

4.3.3基於DCT字典圖像稀疏去噪算法學習

 

4.3.4通過學習來構建字典

 

4.3.5重構算法介紹

 

4.3.6凸鬆弛重構算法

 

4.3.7貪婪算法

 

4.4迭代加權最小二乘法

 

4.5壓縮感知

 

4.5.1基本思想介紹

 

4.5.2結構化稀疏重構模型

 

4.5.3壓縮感知架構

 

4.5.4基於字典的稀疏表示

 

4.5.5分塊壓縮感知

 

4.5.6結構化壓縮感知模型

 

4.5.7商品推薦應用

 

4.5.8信號傳輸應用

 

參考文獻

 

第5章神經網絡中的特徵提取

 

5.1神經網絡簡介

 

5.1.1生物神經網絡

 

5.1.2人工神經元

 

5.1.3人工神經網絡

 

5.2多層神經網絡

 

5.2.1前向傳播

 

5.2.2反向傳播算法

 

5.2.3神經網絡之特徵提取 Word2Vec

 

5.3捲積神經網絡

 

5.3.1捲積層

 

5.3.2池化層

 

5.3.3全連接層

 

5.3.4捲積神經網絡的特點

 

5.4循環神經網絡

 

5.4.1序列數據

 

5.4.2循環神經網絡

 

5.4.3循環神經網絡的變體

 

5.4.4雙向LSTM之特徵提取 ELMo

 

5.5圖神經網絡

 

5.5.1圖結構定義

 

5.5.2通用的圖神經網絡框架

 

5.5.3圖捲積網絡

 

5.5.4GraphSAGE

 

5.5.5圖註意力網絡

 

參考文獻

 

第6章生成式表示學習

 

6.1貝葉斯學習

 

6.1.1概率論基礎

 

6.1.2貝葉斯定理

 

6.1.3最大似然估計和KL散度

 

6.1.4貝葉斯分類

 

6.1.5概率生成式模型

 

6.1.6最大似然解

 

6.2近似推斷

 

6.2.1馬爾可夫鏈蒙特卡洛採樣

 

6.2.2證據下界

 

6.2.3變分推斷

 

6.3概率圖模型

 

6.3.1盤式記法

 

6.3.2馬爾可夫隨機場

 

6.3.3有向圖模型

 

6.3.4變分自編碼器

 

6.3.5混合概率圖模型

 

6.4生成對抗網絡

 

6.4.1二項分佈的最大似然估計

 

6.4.2生成器

 

6.4.3生成對抗網絡的交替優化

 

6.4.4GAN的訓練問題

 

6.5擴散模型

 

6.5.1擴散模型簡介

 

6.5.2前向過程

 

6.5.3逆向過程

 

6.5.4模型訓練

 

參考文獻

 

第7章對比式表示學習

 

7.1無監督表示學習

 

7.2對比式表示學習概述

 

7.3數據增強

 

7.3.1電腦視覺中的數據增強

 

7.3.2自然語言處理中的數據增強

 

7.3.3圖網絡分析中的數據增強

 

7.4正負樣本的選擇

 

7.4.1正樣本採樣

 

7.4.2負樣本採樣

 

7.5相似性度量

 

7.5.1傳統的度量方式

 

7.5.2互信息度量

 

7.5.3理論分析

 

7.6對比框架

 

7.6.1電腦視覺中的對比式表示學習

 

7.6.2圖網絡分析中的對比式表示學習

 

7.6.3自然語言處理中的對比式表示學習

 

7.7挑戰和未來工作

 

參考文獻