網絡智能化中的深度強化學習技術

戚琦，博士，网络与交换国家重点实验室副教授、硕士生导师、博士生导师。长期从事业务网络智能化和移动云计算方向的科研工作，近年来重点关注深度强化学习、分布式机器学习、联邦学习、轻量化神经网络等方面的前沿研究，取得了知识定义网络、边缘智能、手部姿态估计、草图检索等一系列研究成果。发表高水平学术论文70余篇，SCI索引期刊论文40余篇。先后主持2项国家自然科学基金目，1项北京市自然科学基金，3项基地自主科研项目，以及多项企事业单位合作项目，作为主研人承担重点研发计划、创新团队、创新群体、973等多个国家及省部级重大项目。

第 1章 網絡智能概述 1

1.1 概述 2

1.1.1 網絡架構的持續演進 2

1.1.2 網絡管理與控制的挑戰 3

1.1.3 網絡智能的興起 4

1.2 網絡智能的基礎 7

1.2.1 大數據 7

1.2.2 算力支持 7

1.2.3 集中式控制 9

1.3 網絡智能的現狀 10

1.3.1 意圖網絡 10

1.3.2 自動駕駛網絡 12

1.3.3 知識定義網絡 14

1.3.4 標準化工作 17

1.4 網絡智能的實現途徑 18

1.4.1 監督學習 18

1.4.2 無監督學習 20

1.4.3 強化學習 21

1.5 網絡智能的願景與挑戰 22

1.5.1 網絡智能的願景 22

1.5.2 網絡智能的挑戰 24

參考文獻 25

第 2章 深度強化學習方法 29

2.1 強化學習方法概述 30

2.1.1 馬爾可夫決策過程 30

2.1.2 多臂賭博機 32

2.1.3 蒙特卡洛樹搜索與時間差分方法 33

2.1.4 值迭代與策略迭代 35

2.2 深度強化學習 37

2.2.1 深度Q網絡 38

2.2.2 策略梯度方法 40

2.2.3 策略梯度單調提升優化算法 44

2.2.4 最大熵算法 50

2.3 多智能體強化學習 52

2.3.1 獨立強化學習及其涌現行為分析 53

2.3.2 多智能體通信 55

2.3.3 多智能體合作機制 56

2.3.4 多智能體建模與策略推斷 59

2.4 分層強化學習 61

2.5 遷移強化學習 64

2.5.1 遷移強化學習框架 65

2.5.2 根據遷移設置的分類 66

2.5.3 根據遷移知識類型的分類 67

2.5.4 根據遷移目標的分類 68

2.6 多任務強化學習 69

2.6.1 多任務學習基本概念 69

2.6.2 多任務強化學習 70

2.6.3 基於多任務學習的遷移強化學習 71

2.7 逆強化學習 73

2.8 分佈式強化學習 75

參考文獻 77

第3章 基於強化學習的無線接入優化 81

3.1 多通道無線接入 81

3.1.1 多通道無線接入概述 82

3.1.2 基於DRL的動態多通道無線接入 83

3.1.3 異構無線網絡的多通道接入 87

3.2 異構無線網絡的調制和編碼 91

3.2.1 調制和編碼問題概述 91

3.2.2 基於DRL的調制和編碼 93

3.3 基站自適應能量控制 99

3.3.1 基站自適應能量控制內容概述 99

3.3.2 基站自適應能量控制問題引入 100

3.3.3 基於DRL的自適應能量控制 100

參考文獻 105

第4章 基於強化學習的網絡管理 108

4.1 智能服務編排 108

4.1.1 NFV的資源配置 108

4.1.2 服務功能鏈映射 110

4.1.3 服務功能鏈選路 117

4.1.4 無線網絡VNF的資源編排 122

4.2 智能網絡切片 124

4.2.1 網絡切片的需求與概念 124

4.2.2 網絡切片的資源管理 127

4.2.3 無線接入網切片 128

4.2.4 核心網切片 133

參考文獻 136

第5章 基於強化學習的網絡控制 141

5.1 智能路由控制 141

5.1.1 時間相關QoS的路由控制 143

5.1.2 邊緣網絡路由控制 147

5.1.3 帶緩存的DCN路由控制 151

5.2 智能擁塞控制 158

5.2.1 多路徑TCP控制 160

5.2.2 智能擁塞控制模型Aurora 164

5.3 智能流量調度 167

5.3.1 流量工程概述 168

5.3.2 智能流量調度 169

5.3.3 分佈式流量調度 170

參考文獻 172

第6章 基於強化學習的任務調度 175

6.1 並行計算的任務調度 175

6.1.1 問題定義 176

6.1.2 基於RL的並行任務調度方法 177

6.1.3 基於DRL的並行任務調度方法 178

6.2 基於有向無環圖的任務調度 182

6.2.1 分佈式系統任務模型 182

6.2.2 邊緣計算任務調度 183

6.2.3 雲計算的任務調度 185

6.2.4 數據處理集群的任務調度 188

6.3 混合任務調度 192

6.3.1 多類型任務調度 192

6.3.2 任務調度相關的聯合優化 195

參考文獻 198

第7章 基於強化學習的流媒體控制 200

7.1 超低時延的流媒體傳輸 201

7.1.1 超低時延的流媒體傳輸框架 201

7.1.2 碼率自適應算法 204

7.1.3 基於強化學習的超低時延傳輸算法 206

7.2 個性化的流媒體傳輸 210

7.2.1 個性化用戶體驗 210

7.2.2 基於強化學習的個性化QoE設計 212

7.3 新場景下的流媒體傳輸展望 214

參考文獻 215

第8章 基於強化學習的自組織網絡 218

8.1 網聯自動駕駛 218

8.1.1 車載通信任務 218

8.1.2 車載資源分配 221

8.2 無人機網絡概述 226

8.2.1 無人機通信資源調度 227

8.2.2 無人機公平效率覆蓋 231

8.2.3 無人機傳感數據收集 235

參考文獻 238

名詞索引 241