遷移學習 -- TRANSFER LEARNING (楊強教授新作)

楊強微眾銀行首席人工智能官，香港科技大學計算機科學與工程系講席教授，
第四範式有限公司聯合創始人，ACM、AAAI、IEEE、IAPR、CAAI和AAAS會士，
香港人工智能與機器人學會理事長，AAAI 2021主席。
曾任IJCAI理事長和多個國際頂會主席，包括IJCAI 2015、ACM KDD 2012等。曾獲2004/2005 ACM KDDCUP冠軍、2017 ACM SIGKDD傑出服務獎、2018 AAAI創新人工智能應用獎、2019 CAAI吳文俊人工智能科學技術傑出貢獻獎。
曾任華為諾亞方舟實驗室創始主任和香港科技大學計算機系主任。
曾創立IEEE Transactions on Big Data和ACM Transactions on Intelligent Systems and Technology期刊並任主編。
著有《智能規劃》《學術研究：你的成功之道》《軟件工程中基於約束的設計恢復》和《聯邦學習》。
畢業於北京大學（天體物理學學士）和美國馬里蘭大學（計算機專業博士）。

張宇南方科技大學計算機科學與工程系副教授，2011年在香港科技大學計算機科學與工程系獲博士學位。
在國內外人工智能和機器學習會議及期刊上發表論文約70篇。
曾獲UAI 2010和PAKDD 2019的最佳論文獎，以及2013年IEEE/WIC/ACM網絡智能國際會議的最佳學生論文獎。
2019年入選國家特聘專家（青年）。

戴文淵第四範式有限公司創始人兼首席執行官。
曾任百度首席架構師和高級科學家，幫助百度開發了機器學習系統。
曾任華為諾亞方舟實驗室首席科學家。畢業於香港科技大學計算機科學與工程系（博士）、上海交通大學計算機科學與工程系（碩士、學士）。
在ICML、NIPS、AAAI、KDD等會議上發表論文多篇。
曾獲2005年ACM-ICPC總決賽世界冠軍、2007年PKDD最佳學生論文獎。
入選2017年《麻省理工科技評論》中國青年科技創新人才榜（TR35）發明家和2017年《財富》中國40位40歲以下商界精英。

潘嘉林新加坡南洋理工大學計算機科學與工程學院教務長講座副教授，
曾任新加坡資訊通信研究所（Institute for Infocomm Research）數據分析部門文本分析實驗室主任。
2011年獲香港科技大學計算機科學博士學位。
2018年被《IEEE智能係統》評選為“10大AI青年科學家”（AI 10 to Watch）。

譯者簡介：

莊福振中國科學院計算技術研究所副研究員、碩士生導師，於2011年7月在中國科學院研究生院獲得博士學位；2013年9月被聘為副研究員。
主要從事遷移學習、多任務學習、推薦系統以及大數據挖掘應用等方面的研究，相關成果已經在本領域、重要國際期刊和國際會議上發表\錄用論文100餘篇。
遷移學習的工作曾獲得SDM2010和CIKM2010的最佳論文提名，2013年獲得中國人工智能學會優秀博士學位論文獎。
入選2015年微軟亞洲研究院青年教師“鑄星計劃”，2017入選中國科學院青年創新促進會。

目錄
推薦序

譯者序

前言

第一部分遷移學習的基礎

第1章緒論/2

1.1 人工智能、機器學習以及遷移學習/2

1.2 遷移學習：定義/6

1.3 與已有機器學習範式的關係/9

1.4 遷移學習的基礎研究問題/11

1.5 遷移學習應用/11

1.5.1 圖像理解/11

1.5.2 生物信息學和生物成像/12

1.5.3 推薦系統和協同過濾/12

1.5.4 機器人和汽車自動駕駛/13

1.5.5 自然語言處理和文本挖掘/13

1.6 歷史筆記/14

1.7 關於本書/15

第2章基於樣本的遷移學習/19

2.1 引言/19

2.2 基於樣本的非歸納式遷移學習/20

2.2.1 判別區分源數據和目標數據/22

2.2.2 核平均匹配/23

2.2.3 函數估計/23

2.3 基於樣本的歸納式遷移學習/24

2.3.1 集成源損失與目標損失/24

2.3.2 Boosting風格的方法/26

2.3.3 樣本生成方法/27

第3章基於特徵的遷移學習/29

3.1 引言/29

3.2 最小化域間差異/30

3.2.1 最大均值差異/30

3.2.2 基於Bregman散度的正則化/34

3.2.3 使用特定分佈假設的度量/34

3.2.4 數據依賴的域差異度量/35

3.3 學習通用特徵/36

3.3.1 學習通用編碼/36

3.3.2 深度通用特徵/37

3.4 特徵增強/38

第4章基於模型的遷移學習/40

4.1 引言/40

4.2 基於共享模型成分的遷移學習/42

4.2.1 利用高斯過程的遷移學習/42

4.2.2 利用貝葉斯模型的知識遷移/43

4.2.3 利用深度模型的模型遷移/44

4.2.4 其他方法/45

4.3 基於正則化的遷移/45

4.3.1 基於支持向量機的正則化/46

4.3.2 基於多核學習的遷移學習/47

4.3.3 深度模型中的微調方法/48

第5章基於關係的遷移學習/52

5.1 引言/52

5.2 馬爾可夫邏輯網絡/54

5.3 利用馬爾可夫網絡的基於關係的遷移學習/55

5.3.1 通過一階邏輯的淺層遷移/55

5.3.2 通過二階邏輯的深度遷移/57

5.3.3 通過結構類比的遷移學習/59

第6章異構遷移學習/61

6.1 引言/61

6.2 異構遷移學習問題/63

6.3 方法/63

6.3.1 異構特徵空間/64

6.3.2 異構標籤空間/78

6.4 應用/79

第7章對抗式遷移學習/82

7.1 引言/82

7.2 生成對抗網絡/83

7.3 採用對抗式模型的遷移學習/86

7.3.1 生成目標域數據/87

7.3.2 通過對抗式學習來學習域不變特徵/89

7.4 討論/91

第8章強化學習中的遷移學習/92
8.1 引言/92
8.2 背景/93
8.2.1 強化學習/94
8.2.2 強化學習任務中的遷移學習/95
8.2.3 遷移學習在強化學習中的目標/96
8.2.4 遷移強化學習分類/98
8.3 任務間遷移學習/99
8.3.1 基於樣本的遷移/99
8.3.2 基於特徵的遷移/100
8.3.3 基於模型的遷移/103
8.3.4 解決“遷移時機”問題/105
8.4 域間遷移學習/105
8.4.1 基於樣本的遷移/106
8.4.2 基於特徵的遷移/107
8.4.3 基於模型的遷移/108

第9章多任務學習/109
9.1 引言/109
9.2 定義/111
9.3 多任務監督學習/111
9.3.1 基於特徵的多任務監督學習/112
9.3.2 基於模型的多任務監督學習/114
9.3.3 基於樣本的多任務監督學習/120
9.4 多任務無監督學習/120
9.5 多任務半監督學習/120
9.6 多任務主動學習/121
9.7 多任務強化學習/121
9.8 多任務在線學習/121
9.9 多任務多視圖學習/122
9.10 並行與分佈式多任務學習/122

第10章遷移學習理論/123
10.1 引言/123
10.2 多任務學習的泛化界/124
10.3 監督遷移學習的泛化界/127
10.4 無監督遷移學習的泛化界/129

第11章傳導式遷移學習/131
11.1 引言/131
11.2 混合圖上的傳導式遷移學習/133
11.2.1 問題定義/134
11.2.2 混合遷移算法/135
11.3 基於隱性特徵表示的傳導式遷移學習/137
11.3.1 問題定義/137
11.3.2 耦合的矩陣三因子分解算法/138
11.4 基於深度神經網絡的傳導式遷移學習/141
11.4.1 問題定義/141
11.4.2 選擇學習算法/142

第12章自動遷移學習：學習如何自動遷移/146
12.1 引言/146
12.2 L2T框架/147
12.3 參數化“遷移什麼”/148
12.3.1 基於公共隱空間的算法/149
12.3.2 基於流形集成的算法/149
12.4 從經驗中學習/149
12.4.1 源域和目標域之間的差異/149
12.4.2 目標域判別能力/151
12.4.3 優化問題/151
12.5 推斷“遷移什麼”/151
12.6 與其他學習範式的聯繫/152
12.6.1 遷移學習/152
12.6.2 多任務學習/153
12.6.3 終身機器學習/153
12.6.4 自動化機器學習/153

第13章小樣本學習/155
13.1 引言/155
13.2 零樣本學習/156
13.2.1 概述/156
13.2.2 零樣本學習算法/157
13.3 單樣本學習/161
13.3.1 概述/161
13.3.2 單樣本學習算法/161
13.4 貝葉斯規劃學習/163
13.4.1 概述/163
13.4.2 用於識別字符筆劃的貝葉斯規劃學習/163
13.5 短缺資源學習/166
13.5.1 概述/166
13.5.2 機器翻譯/166
13.6 域泛化/168
13.6.1 概述/168
13.6.2 偏差SVM/169
13.6.3 多任務自動編碼器/169

第14章終身機器學習/171
14.1 引言/171
14.2 終身機器學習：定義/172
14.3 通過不變的知識進行終身機器學習/173
14.4 情感分類中的終身機器學習/174
14.5 共享模型組件用於多任務學習/177
14.6 永無止境的語言學習/178

第二部分遷移學習的應用
第15章隱私保護的遷移學習/184
15.1 引言/184
15.2 差分隱私/185
15.2.1 定義/185
15.2.2 隱私保護的正則化經驗風險最小化/186
15.3 隱私保護的遷移學習/188
15.3.1 問題設置/188
15.3.2 目標提升/188
15.3.3 多方學習/191
15.3.4 多任務學習/193

第16章計算機視覺中的遷移學習/194
16.1 引言/194
16.2 概述/195
16.2.1 淺層遷移學習模型/195
16.2.2 深度遷移學習模型/199
16.2.3 遷移學習用於其他視覺任務/200
16.3 遷移學習用於醫學圖像分析/201
16.3.1 醫學圖像分類/201
16.3.2 醫學圖像異常檢測/203
16.3.3 醫學圖像分割/204

第17章自然語言處理中的遷移學習/205
17.1 引言/205
17.2 NLP中的遷移學習/205
17.2.1 問題設置/206
17.2.2 NLP應用中的參數初始化/206
17.2.3 NLP應用中的多任務學習/207
17.3 情感分析中的遷移學習/212
17.3.1 問題定義和符號/214
17.3.2 淺模型/214
17.3.3 基於深度學習的方法/217

第18章對話系統中的遷移學習/226
18.1 引言/226
18.2 問題形式化定義/228
18.3 口語理解中的遷移學習/228
18.3.1 問題定義/229
18.3.2 模型適配/229
18.3.3 基於樣本的遷移/229
18.3.4 參數遷移/230
18.4 對話狀態跟踪中的遷移學習/231
18.4.1 基於特徵的多領域對話狀態跟踪/231
18.4.2 基於模型的多領域對話狀態跟踪/231
18.5 對話策略學習中的遷移學習/232
18.5.1 針對Q學習的遷移線性模型/233
18.5.2 針對Q學習的遷移高斯過程/233
18.5.3 針對Q學習的遷移貝葉斯委員會機器/235
18.6 自然語言生成中的遷移學習/236
18.6.1 自然語言生成中的模型微調/237
18.6.2 自然語言生成中的課程學習/237
18.6.3 自然語言生成中的樣本合成/237
18.7 端到端對話系統中的遷移學習/238
18.7.1 完全參數微調/239
18.7.2 部分參數共享/239

第19章推薦系統中的遷移學習/247
19.1 引言/247
19.2 在推薦中遷移什麼/248
19.2.1 推薦系統中基於樣本的遷移學習方法/248
19.2.2 推薦系統中基於特徵的遷移學習方法/249
19.2.3 推薦系統中基於模型的遷移學習方法/251
19.3 新聞推薦/252
19.3.1 問題定義/253
19.3.2 挑戰和解決方案/254
19.3.3 解決方案：基於鄰域的遷移學習/254
19.4 社交網絡中的VIP推薦/255
19.4.1 問題定義/256
19.4.2 挑戰和解決方案/257
19.4.3 解決方案：基於社交關係的遷移/258

第20章生物信息學中的遷移學習/260
20.1 引言/260
20.2 生物信息學中的機器學習問題/261
20.3 生物序列分析/262
20.4 基因表達分析和遺傳分析/265
20.5 系統生物學/266
20.6 生物醫學文本和圖像挖掘/268
20.7 基於深度學習的生物信息學/268
20.7.1 深度神經追踪/268
20.7.2 生物信息學中的深度遷移學習/272

第21章行為識別中的遷移學習/273
21.1 引言/273
21.2 針對無線定位的遷移學習/273
21.2.1 依賴於環境的數據稀疏性挑戰/274
21.2.2 基於特徵的遷移學習用於定位/276
21.2.3 基於樣本的遷移學習用於定位/278
21.2.4 基於模型的遷移學習用於定位/280
21.3 針對行為識別的遷移學習/282
21.3.1 背景/282
21.3.2 問題設置/284
21.3.3 跨特徵空間的遷移/285
21.3.4 跨標籤空間的遷移/287

第22章城市計算中的遷移學習/289
22.1 引言/289
22.2 城市計算中的“遷移什麼”/290
22.3 城市計算中遷移學習的關鍵問題/291
22.4 連鎖店推薦/292
22.4.1 問題設置/292
22.4.2 CityTransfer模型/293
22.5 空氣質量預測/295
22.5.1 問題設置/295
22.5.2 FLORAL模型/296

第23章結束語/297
參考文獻/299
名詞中英文對照/341