密態深度學習

劉西蒙

福州大學研究員、博士生導師，福州大學數學與電腦科學學院院長助理，系統信息安 全福建省高校重點實驗室主任，福建省知聯會理事，福建省“閩江學 者”特聘教授，福建省引進高層次人才(C類)，IEEE/ACM/CCF會員。主要從事密態計算、密態機器學習、大數據隱私保護、區塊鏈，可搜索加密、公鑰密碼學應用等方面的研究工作；先後主持和參與國家自然科學基金項目5項(含重點項目一項)；已在國內外期刊、會議上發表SCI/EI學術論文250餘篇，Google被引3300餘次；申請國家發明專利4項。

 

熊金波

福建師範大學教授、博士生導師，中國中文信息學會大數據安 全與隱私計算專委會委員，福建省電腦學會理事，福建省高校傑出青年科研人才，福建師範大學第七屆十佳青年教師，IEEE/ACM/CCF會員；獲福建師範大學本科課堂教學優 秀獎和第 二屆集英助教基金教學獎；主要從事物聯網安 全與隱私保護、移動數據安 全等方面的研究工作；先後主持國家自然科學基金項目2項，福建省自然科學基金項目2項，福建省本科高校教育教學改革研究項目一項，作為主要成員參與國家重點研發計劃、國家863計劃等項目的研究；出版學術專著2部、教材一部；已在國內外期刊會議上發表SCI/EI學術論文一百餘篇，ESI高被引論文3篇，Google被引一千一百餘次；申請國家發明專利十三項、授權3項。

第1章 緒論 1

1.1　大數據　1

1.1.1　引言　1

1.1.2　概念　1

1.1.3　發展與應用　2

1.1.4　大數據關鍵技術　4

1.2　數據挖掘　6

1.2.1　引言　6

1.2.2　概念　7

1.2.3　發展與應用　7

1.2.4　數據挖掘相關技術　8

1.3　人工智能　9

1.3.1　引言　9

1.3.2　概念　9

1.3.3　發展與應用　10

1.3.4　人工智能關鍵技術　11

1.4　數據安全與網絡安全　13

1.4.1　引言　13

1.4.2　概念　13

1.4.3　面臨的威脅　14

1.4.4　安全技術　15

1.5　數據挖掘面臨的隱私問題　17

1.5.1　數據的過度採集　17

1.5.2　個人信息的濫用　17

1.5.3　數據的融合問題　17

1.6　人工智能面臨的隱私問題　18

1.6.1　數據泄露帶來的隱私風險　18

1.6.2　人工智能算法引發的隱私風險　18

1.6.3　人工智能的發展導致的安全威脅　19

1.6.4　模型提取攻擊導致的安全威脅　19

1.7　本章小結　19

 

第2章　基礎知識　22

2.1　深度學習　22

2.1.1　AdaBoost　22

2.1.2　XGBoost　24

2.1.3　聯邦學習　25

2.1.4　全連接神經網絡　28

2.1.5　深度神經網絡　29

2.1.6　捲積神經網絡　31

2.1.7　遞歸神經網絡　33

2.2　同態加密　37

2.2.1　群、環、域　37

2.2.2　公鑰密碼體制的困難問題　40

2.2.3　加法同態Paillier算法　41

2.2.4　乘法同態RSA算法　42

2.2.5　全同態加密算法　43

2.3　基於安全多方計算的密態計算　44

2.3.1　基於秘密共享的密態計算　44

2.3.2　基於混淆電路的密態計算　46

2.4　基於可信執行環境的密態計算　46

2.5　差分隱私　47

2.6　本章小結　49

 

第3章　基於AdaBoost的密態計算　54

3.1　背景介紹　54

3.2　研究現狀　55

3.3　問題描述　56

3.3.1　系統模型　56

3.3.2　攻擊模型　57

3.4　基於秘密共享的安全協議　57

3.4.1　數據存儲格式　58

3.4.2　指數的安全匹配　58

3.4.3　改進的安全自然指數協議　59

3.4.4　改進的安全自然對數協議　60

3.5　模型構造　61

3.5.1　AdaBoost的FSA　62

3.5.2　弱分類器的線性加法　64

3.5.3　多分類擴展　65

3.6　理論分析　66

3.6.1　POR的正確性分析　66

3.6.2　POR的安全性分析　67

3.7　性能評估　68

3.7.1　POR的性能　68

3.7.2　改進的安全自然指數協議和安全自然對數協議的性能　71

3.8　本章小結　74

 

第4章　聯邦極端梯度增強的密態計算　76

4.1　背景介紹　76

4.2　研究現狀　77

4.3　問題描述　78

4.3.1　系統模型　78

4.3.2　安全模型　79

4.4　模型構造　80

4.4.1　FEDXGB概述　80

4.4.2　SecAgg　81

4.4.3　SecBoost　82

4.4.4　SecFind　84

4.4.5　用戶退出的魯棒性　85

4.5　安全性分析　85

4.5.1　SecAgg的安全性　85

4.5.2　FEDXGB的安全性　86

4.6　性能評估　87

4.6.1　實驗配置　88

4.6.2　FEDXGB性能評估　88

4.6.3　SecAgg效率分析　89

4.7　本章小結　92

 

第5章　隱私保護聯邦K-means　95

5.1　背景介紹　95

5.2　研究現狀　97

5.3　問題描述　98

5.3.1　系統模型　99

5.3.2　安全模型　100

5.4　模型構建　100

5.4.1　PFK-means概述　100

5.4.2　PFK-means方案　102

5.4.3　安全系統設置　104

5.4.4　簇心更新　105

5.5　理論分析　110

5.5.1　復雜度分析　110

5.5.2　安全分析　111

5.6　性能評估　113

5.6.1　實驗設置　113

5.6.2　效用評估　113

5.6.3　實驗分析　114

5.6.4　安全性和實用性比較　116

5.7　本章小結　117

 

第6章　基於同態加密的密態神經網絡訓練　121

6.1　背景介紹　121

6.2　研究現狀　123

6.3　問題描述　124

6.3.1　系統模型　124

6.3.2　安全模型　125

6.4　HNN方案構造　125

6.4.1　全連接層　126

6.4.2　ReLU層　127

6.4.3　Softmax層　127

6.4.4　安全反向傳播　128

6.5　安全性分析　130

6.6　性能評估　131

6.7　本章小結　134

 

第7章　基於捲積神經網絡的密態計算　137

7.1　背景介紹　137

7.2　研究現狀　138

7.3　問題描述　139

7.3.1　系統模型　139

7.3.2　安全模型　141

7.3.3　設計目標　141

7.4　模型構造　141

7.4.1　安全加減法協議　142

7.4.2　安全乘法協議　142

7.4.3　安全比較協議　143

7.4.4　矢量化　146

7.4.5　面向移動感知的輕量級隱私保護捲積神經網絡特徵提取　146

7.5　理論分析　151

7.5.1　正確性　151

7.5.2　安全性　152

7.5.3　有效性　153

7.6　性能評估　154

7.6.1　安全比較協議的性能　154

7.6.2　面向移動感知的輕量級隱私保護捲積神經網絡特徵提取的

性能　155

7.7　本章小結　159

 

第8章　基於LSTM網絡的密態計算　163

8.1　背景介紹　163

8.2　研究現狀　164

8.3　問題描述　165

8.3.1　系統模型　165

8.3.2　安全模型　166

8.4　模型構造　166

8.4.1　基於秘密共享的安全函數　166

8.4.2　面向加密音頻特徵的隱私保護LSTM網絡　171

8.5　理論分析　179

8.5.1　OPSR的正確性　179

8.5.2　OPSR的安全性　180

8.6　性能評估　181

8.6.1　OPSR的性能　181

8.6.2　保密LSTM網絡交互協議的性能　184

8.7　本章小結　186