聯邦學習 Federated Learning: A Comprehensive Overview of Methods and Applications

目    錄

 

第Ⅰ部分  聯邦學習概述及其作為

機器學習方法的問題

第1章  聯邦學習介紹   3

1.1　概述   3

1.2　概念與術語   5

1.3　機器學習視角   7

1.3.1  深度神經網絡   7

1.3.2　經典機器學習模型   9

1.3.3  橫向聯邦學習、縱向

聯邦學習和拆分學習   11

1.3.4  模型個性化   12

1.4　安全和隱私   13

1.4.1  操縱攻擊   14

1.4.2  推斷攻擊   15

1.5　聯邦學習系統   16

1.6　本章小結   18

第2章  採用基於樹的模型的聯邦

學習系統   25

2.1　介紹   25

2.1.1  基於樹的模型   26

2.1.2  聯邦學習中基於樹的

模型的關鍵研究挑戰   27

2.1.3  聯邦學習中基於樹的

模型的優勢   27

2.2　基於樹的聯邦學習方法

綜述   28

 

2.2.1  橫向與縱向聯邦

學習   29

2.2.2  聯邦學習中基於樹的

算法類型   30

2.2.3  基於樹的聯邦學習的

安全需求   30

2.2.4  聯邦學習中基於樹的

模型的實現   31

2.3　決策樹和梯度提升的初步

探討   31

2.3.1  聯邦學習系統   31

2.3.2  集中式ID3模型初探   32

2.3.3  梯度提升初探   33

2.4　用於聯邦學習的決策樹   34

2.5　用於聯邦學習的

XGBoost   37

2.6　開放性問題及未來研究

方向   41

2.6.1  數據保真度閾值策略   41

2.6.2  基於樹的聯邦學習

模型的公平性和偏差

緩解方法   41

2.6.3  在其他網絡拓撲上訓練

基於樹的聯邦學習

模型   41

2.7　本章小結   42

 

第3章  語義向量化：基於文本和

圖的模型   47

3.1　介紹   47

3.2　背景   48

3.2.1  自然語言處理   48

3.2.2  文本向量化器   49

3.2.3  圖向量化器   50

3.3　問題表述   51

3.3.1  共同學習   51

3.3.2  向量空間映射   52

3.4　實驗與設置   54

3.4.1  數據集   54

3.4.2  實現   55

3.5　結果：共同學習   55

3.6　結果：向量空間映射   57

3.6.1  餘弦距離   57

3.6.2  排名相似度   58

3.7　本章小結   58

第4章  聯邦學習中的個性化   63

4.1　介紹   63

4.2　個性化的第一步   65

4.2.1  對全局模型進行個性化

微調   65

4.2.2  作為一階元學習方法的

聯邦平均   65

4.3　個性化策略   66

4.3.1  客戶端(參與方)聚類   67

4.3.2  客戶端語境化   68

4.3.3  數據增強   70

4.3.4  蒸餾   70

4.3.5  元學習方法   71

4.3.6  模型混合   72

4.3.7  模型正則化   74

4.3.8  多任務學習   76

4.4　個性化技術的基準   77

4.4.1  合成聯邦數據集   77

4.4.2  模擬聯邦數據集   77

4.4.3  公共聯邦數據集   78

4.5　偶然參數問題   79

4.6　本章小結   80

第5章  使用Fed+進行個性化的魯

棒聯邦學習   87

5.1　介紹   87

5.2　文獻綜述   88

5.3　聯邦學習訓練失敗的

示例   89

5.4　個性化聯邦學習   91

5.4.1  問題表述   91

5.4.2  處理魯棒聚合   92

5.4.3  個性化   93

5.4.4  均值與魯棒聚合的重

組與統一   93

5.4.5  Fed+算法   95

5.4.6　Fed+的均值和魯棒

變體   95

5.4.7  從Fed+推導現有算法 97

5.5　Fed+的固定點   97

5.6　收斂性分析   100

5.7　實驗   103

5.7.1  數據集   103

5.7.2  結果   104

5.8　本章小結   105

第6章  通信高效的分佈式優化

算法   109

6.1　介紹   109

6.2　本地更新SGD和

FedAvg   111

6.2.1  本地更新SGD及其

變體   111

6.2.2  FedAvg算法及其

變體   114

6.3　模型壓縮   116

6.3.1  帶有壓縮更新的

SGD   116

6.3.2  自適應壓縮率   120

6.3.3  模型剪枝   121

6.4　本章小結   121

第7章  通信高效的模型融合 127

7.1　介紹   127

7.2　模型的置換不變結構   128

7.2.1  匹配平均的一般

表述   129

7.2.2  求解匹配平均   130

7.3　概率聯邦神經匹配   131

7.3.1  PFNM生成過程   131

7.3.2  PFNM推理   132

7.3.3  實踐中的PFNM   135

7.4　帶有SPAHM的無監督

聯邦學習   136

7.4.1  SPAHM模型   137

7.4.2  SPAHM推理   137

7.4.3  實踐中的SPAHM   138

7.5　後驗分佈的模型融合   140

7.5.1  KL散度下的模型

融合   140

7.5.2  實踐中的KL-fusion  142

7.6　低通信預算的深度神經

網絡融合   143

7.6.1  將PFNM擴展到深度

神經網絡   144

7.6.2  實踐中的FedMA   146

7.7　模型融合的理論理解   147

7.7.1  預備知識：參數化

模型   147

7.7.2  聯邦設置中模型融合的

優點和缺點   149

7.8　本章小結   150

第8章  聯邦學習與公平性   155

8.1　介紹   155

8.2　預備知識和現有的緩解

方法   156

8.2.1  符號和術語   156

8.2.2  偏差緩解方法的

類型   157

8.2.3  數據隱私和偏差   157

8.3　偏差來源   158

8.3.1  集中式和聯邦式的

原因   158

8.3.2  聯邦學習的特定

原因   159

8.4　文獻探究   160

8.4.1  集中式方法   160

8.4.2  聯邦學習採用集中式

方法   162

8.4.3  沒有敏感屬性的偏差

緩解   163

8.5　衡量偏差   164

8.6　未解決的問題   164

8.7  本章小結   165

第Ⅱ部分  系統和框架

第9章  聯邦學習系統介紹   171

9.1　介紹   171

9.2　跨設備聯邦學習與跨孤島

聯邦學習   172

9.3　跨設備聯邦學習   173

9.3.1  問題表述   173

9.3.2  系統概述   174

9.3.3  訓練過程   175

9.3.4  挑戰   176

9.4　跨孤島聯邦學習   178

9.4.1  問題表述   178

9.4.2  系統概述   178

9.4.3  訓練過程   179

9.4.4  挑戰   180

9.5　本章小結   182

第10章  聯邦學習系統的本地

訓練和可擴展性   187

10.1　參與方本地訓練   187

10.1.1  計算資源   187

10.1.2  內存   188

10.1.3  能量   189

10.1.4  網絡   190

10.2　大規模聯邦學習系統   192

10.2.1  聚類聯邦學習   192

10.2.2  分層聯邦學習   194

10.2.3  去中心化聯邦

學習   197

10.2.4  異步聯邦學習   199

10.3　本章小結   201

第11章  掉隊者管理   205

11.1　介紹   205

11.2　異構性影響研究   206

11.2.1  制定標準的聯邦

學習   206

11.2.2  異構性影響分析   207

11.2.3  實驗研究   208

11.3　TiFL的設計   209

11.3.1  系統概述   209

11.3.2  分析和分層   210

11.3.3  稻草人提議：靜態層

選擇算法   211

11.3.4  自適應層選擇

算法   211

11.3.5  訓練時間估計

模型   213

11.4　實驗評估   214

11.4.1  實驗設置   214

11.4.2  資源異構性   217

11.4.3  數據異構性   218

11.4.4  資源加數據

異構性   219

11.4.5  自適應選擇策略   221

11.4.6  TiFL的評估   222

11.5　本章小結   223

第12章  聯邦學習中的系統

偏差   227

12.1　介紹   227

12.2　背景   228

12.2.1  機器學習中的

公平性   229

12.2.2  聯邦學習中的

公平性   229

12.2.3  聯邦學習中的資源

使用   229

12.3　特性研究   230

12.3.1  性能指標   230

12.3.2  公平性與訓練時間的

權衡   231

12.3.3  參與方退出對公平性

和模型誤差的

影響   232

12.3.4  成本與模型誤差的

權衡   232

12.4　方法論   233

12.4.1  問題表述   233

12.4.2  DCFair概述   234

12.4.3  選擇概率   234

12.4.4  選擇互惠性   235

12.5　評估   236

12.5.1  成本分析   237

12.5.2  模型誤差與公平性

分析   237

12.5.3  訓練時間分析   238

12.5.4  帕累托最優性

分析   239

12.6　本章小結   240

第Ⅲ部分  隱私和安全

第13章  聯邦學習中應對隱私威脅

的防禦措施   247

13.1　介紹   247

13.2　系統實體、攻擊面和推斷

攻擊   249

13.2.1  系統設置、假設和

攻擊面   250

13.2.2  潛在對手   250

13.2.3  聯邦學習中的推斷

攻擊   251

13.3　減輕聯邦學習中的推斷

威脅   256

13.3.1  安全聚合方法   258

13.3.2  句法和擾動方法   262

13.3.3  可信執行環境   264

13.3.4  其他分佈式機器

學習和縱向聯邦

學習技術   265

13.4　選擇合適的防禦措施   265

13.4.1  完全可信的聯邦   265

13.4.2  確保聚合器可信   266

13.4.3  聚合器不可信的

聯邦   266

13.5　本章小結   267

第14章  聯邦學習中的隱私參數

聚合   277

14.1　介紹   277

14.2　重點、信任模型和

假設   278

14.3　差分隱私聯邦學習   279

14.3.1  差分隱私的背景

知識   279

14.3.2  將差分隱私應用於

SGD   280

14.3.3  實驗和討論   281

14.4　加法同態加密   283

14.4.1  參與方、學習器和

管理域   284

14.4.2  架構   284

14.4.3  MYSTIKO算法   285

14.4.4  一個管理域內有多個

學習器   288

14.5　可信執行環境   289

14.6　基於HE和TEE的聚合

與SMC的比較   291

14.6.1  MYSTIKO和SPDZ

的比較   291

14.6.2  使用TEE的開銷：

AMD SEV   293

14.7　本章小結   293

第15章  聯邦學習中的數據

泄露   299

15.1　介紹   299

15.1.1  動機   299

15.1.2  背景及相關研究   300

15.1.3  隱私保護   302

15.2　聯邦學習中的數據泄露

攻擊   305

15.3　性能評估   310

15.3.1  實驗設置和數據集  310

15.3.2  HFL設置中的

CAFE   311

15.3.3  VFL設置中的

CAFE   314

15.3.4  在聯邦學習訓練

過程中攻擊   314

15.3.5  消融實驗   315

15.4　本章小結   317

15.4.1  CAFE小結   317

15.4.2  相關討論   317

第16章  聯邦學習中的安全性和

魯棒性   323

16.1　介紹   323

16.2　聯邦學習中的威脅   324

16.2.1  攻擊者的類型   325

16.2.2  攻擊者的能力   326

16.2.3  攻擊者的目標   327

16.2.4  攻擊者的瞭解

程度   328

16.2.5  攻擊策略   329

16.3　防禦策略   329

16.3.1  防禦收斂攻擊   331

16.3.2  基於參與方的時間

一致性的防禦   334

16.3.3  基於冗餘的防禦   336

16.4　攻擊   336

16.4.1  收斂攻擊   337

16.4.2  針對性的模型

投毒   339

16.5　本章小結   340

第17章  處理神經網絡中的

拜占庭威脅   347

17.1　背景和動機   347

17.1.1  拜占庭威脅   348

17.1.2  緩解拜占庭威脅

影響的挑戰   349

17.2　基於梯度的魯棒性   350

17.2.1  梯度平均   351

17.2.2  威脅模型   352

17.2.3  坐標中位數   352

17.2.4  Krum   353

17.3　對拜占庭威脅的分層

魯棒性   354

17.4　LEGATO：分層梯度

聚合   357

17.4.1  LEGATO   357

17.4.2  LEGATO的復雜度

分析   360

17.5　比較基於梯度和分層的

魯棒性   360

17.5.1  處理非IID參與方

數據分佈   361

17.5.2  處理拜占庭失敗   361

17.5.3  處理過參數化神經

網絡   363

17.5.4  日誌大小的

有效性   364

17.6　本章小結   364

第Ⅳ部分  橫向聯邦學習之外：

以不同方式劃分模型和數據

第18章  保護隱私的縱向聯邦

學習   371

18.1　介紹   371

18.2　理解縱向聯邦學習   372

18.2.1  符號、術語和

假設   373

18.2.2  縱向聯邦學習的

兩個階段   373

18.3　在縱向聯邦學習中應用

梯度下降的挑戰   374

18.3.1  集中式機器學習中的

梯度下降   375

18.3.2  縱向聯邦學習中的

梯度下降   375

18.4　典型的縱向聯邦學習解決

方案   376

18.4.1  對比通信拓撲和

效率   376

18.4.2  對比隱私保護機制

及其威脅模型   378

18.4.3  對比支持的機器學習

模型   379

18.5　FedV：一種高效的縱向

聯邦學習框架   380

18.5.1  FedV概述   380

18.5.2  FedV威脅模型和

假設   381

18.5.3  縱向訓練過程：

FedV-SecGrad   382

18.5.4  分析與討論   385

18.6　本章小結   386

第19章  拆分學習   391

19.1　介紹   391

19.2　通信效率   393

19.3　延遲   394

19.4　拆分學習拓撲結構   394

19.4.1  多樣的配置   394

19.4.2  用ExpertMatcher

進行模型選擇   396

19.4.3  實現詳情   396

19.5　利用拆分學習進行協作

推斷   397

19.5.1  在協作推斷中防止

重建攻擊   398

19.5.2  激活值共享的差分

隱私   399

19.6　本章小結   399

第Ⅴ部分  應用

第20章  聯邦學習在協同金融

犯罪偵查中的應用  405

20.1　金融犯罪偵查簡介   405

20.1.1  利用機器學習和圖

學習打擊金融

犯罪   406

20.1.2  全球金融犯罪檢測的

需求與貢獻   406

20.2　圖學習   406

20.3　用於金融犯罪檢測的

聯邦學習   407

20.3.1  本地特徵計算   407

20.3.2  全局特徵計算   407

20.3.3  聯邦學習   408

20.4　評估   408

20.4.1  數據集和圖建模   408

20.4.2  參與方關系圖的圖

特徵   409

20.4.3  模型準確性   410

20.5　本章小結   412

第21章  投資組合管理的聯邦

強化學習   415

21.1　介紹   415

21.2　深度強化學習公式   416

21.3　金融投資組合管理   416

21.4　數據增強方法   418

21.4.1  幾何布朗運動   418

21.4.2  可變階馬爾可夫

模型   418

21.4.3  生成對抗網絡   418

21.5　實驗結果   419

21.5.1  實驗設置   419

21.5.2  數值結果   421

21.6　本章小結   426

第22章  聯邦學習在醫學影像中的

應用   429

22.1　介紹   429

22.2　圖像分割   431

22.3　3D圖像分類   432

22.4　2D圖像分類   435

22.5　討論   437

22.6　本章小結   438

第23章  通過聯邦學習推進醫療

保健解決方案   445

23.1　介紹   445

23.2　聯邦學習如何應用於

醫療保健   446

23.3　使用IBM FL構建醫療

保健聯邦學習平臺   447

23.4　醫療保健領域應用聯邦

學習構建平臺和解決方案

的指導原則   448

23.4.1  基礎設施設計   448

23.4.2  數據連接器設計   448

23.4.3  用戶體驗設計   448

23.4.4  部署註意事項   449

23.5　醫療保健領域聯邦學習的

核心技術考慮事項   449

23.5.1  數據異構性   449

23.5.2  模型治理和激勵   450

23.5.3  信任和隱私考慮   450

23.6  本章小結   451

第24章  保護隱私的產品推薦

系統   453

24.1　介紹   453

24.2　相關研究   455

24.3　聯邦推薦系統   455

24.3.1  算法   457

24.3.2  實現   458

24.4　結果   460

24.5　本章小結   462

第25章  聯邦學習在電信和邊緣

計算中的應用   465

25.1　概述   465

25.2　用例   466

25.2.1  車輛網絡   466

25.2.2  跨境支付   466

25.2.3  邊緣計算   467

25.2.4  網絡攻擊   467

25.2.5  6G   468

25.2.6 “緊急服務”用例演示

聯邦學習的能力   469

25.3　挑戰與未來方向   471

25.3.1  安全和隱私挑戰及

註意事項   471

25.3.2  環境方面的考慮   471

25.3.3  數據方面的考慮   471

25.3.4  監管方面的考慮   472

25.4　本章小結   472