強化學習：原理與Python實戰

肖智清
強化學習一線研發人員，清華大學工學博士。
在國內外出版多本人工智能專著，在知名期刊和會議上發表多篇第一作者論文。
他是開源項目Gym的源碼貢獻者，並在國內外多項程序設計和數據科學競賽上獲得冠軍。

目錄
數學符號表
前言
第1章初識強化學習111強化學習及其關鍵元素1
1．2強化學習的應用3
1．3智能體/環境接口4
1．4強化學習的分類6
1．4 ．1按任務分類6
1．4．2按算法分類8
1．5強化學習算法的性能指標9
1．6案例：基於Gym庫的智能體/環境接口10
1．6．1安裝Gym庫11
1 ．6．2使用Gym庫11
1．6．3小車上山13
1．7本章小結18
1．8練習與模擬面試19
第2章Markov決策過程2121Markov決策過程模型21
2．1．1離散時間Markov決策過程21
2．1．2環境與動力24
2．1．3策略26
2．1．4帶折扣的回報26
2．2價值27
2．2．1價值的定義28
2．2．2價值的性質28
2．2．3策略的偏序和改進34
2．3帶折扣的分佈35
2．3．1帶折扣的分佈的定義35
2．3．2帶折扣的分佈的性質37
2．3 ．3帶折扣的分佈和策略的等價性39
2．3．4帶折扣的分佈下的期望40
2．4最優策略與最優價值41
2．4．1從最優策略到最優價值41
2．4．2最優策略的存在性42
2．4．3最優價值的性質與Bellman
最優方程43
2．4．4用線性規劃法求解最優價值48
2．4．5用最優價值求解最優策略51
2．5案例：懸崖尋路52
2．5．1使用環境52
2．5．2求解策略價值53
2．5．3求解最優價值54
2．5．4求解最優策略55
2．6本章小結55
2．7練習與模擬面試57
第3章有模型數值迭代5931Bellman算子及其性質59
3．2有模型策略迭代64
3．2．1策略評估65
3． 2．2策略改進66
3．2．3策略迭代67
3．3價值迭代68
3．4自益與動態規劃69
3．5案例：冰面滑行70
3．5．1使用環境71
3．5． 2有模型策略迭代求解73
3．5．3有模型價值迭代求解76
3．6本章小結76
3．7練習與模擬面試77
第4章回合更新價值迭代78
4．1同策回合更新79
4． 1．1同策回合更新策略評估79
4．1．2帶起始探索的同策回合更新84
4．1．3基於柔性策略的同策回合更新86
4．2異策回合更新89
4．2 ．1重要性採樣89
4．2．2異策回合更新策略評估92
4．2．3異策回合更新最優策略求解93
4．3實驗：21點遊戲94
4．3．1使用環境94
4．3．2同策策略評估96
4．3．3同策最優策略求解98
4．3．4異策策略評估101
4．3．5異策最優策略求解102
4．4本章小結103
4、5練習與模擬面試104
第5章時序差分價值迭代10651時序差分目標106
5．2同策時序差分更新109
5．2．1時序差分更新策略評估109
5．2．2SARSA算法113
5．2．3期望SARSA算法115
5．3異策時序差分更新117
5．3．1基於重要性採樣的異策算法117
5．3．2Q學習119
5．3．3雙重Q學習120
5．4資格跡121
5．4． 1λ回報122
5．4．2TD(λ)算法123
5．5案例：的士調度125
5．5．1使用環境126
5．5．2同策時序差分學習127
5．5．3異策時序差分學習130
5．5．4資格跡學習132
56本章小結134
57練習與模擬面試135
第6章函數近似方法137
6.1函數近似原理138
6.2基於梯度的參數更新139
6.2．1隨機梯度下降139
6.2．2半梯度下降141
6.2．3帶資格蹟的半梯度下降142
6．3函數近似的收斂性144
6．3．1收斂的條件144
6．3．2Baird反例145
6．4深度Q網絡147
6．4．1經驗回放148
6．4．2目標網絡151
6．4．3雙重深度Q網絡152
6．4．4決鬥深度Q網絡153
6．5案例：小車上山154
6．5．1使用環境155
6．5．2用線性近似求解最優策略156
6.5.3用深度Q網絡求解最優策略161
6.6本章小結172
6.7練習與模擬面試172
第7章回合更新策略梯度方法17471策略梯度算法的原理174
7.1.1函數近似策略174
7.1.2策略梯度定理175
7.1.3策略梯度和極大似然估計的關係179
7.2同策回合更新策略梯度算法179
7.2.1簡單的策略梯度算法180
7.2.2帶基線的簡單策略梯度算法180
7.3異策回合更新策略梯度算法182
7.4案例：車桿平衡183
7.4.1用同策策略梯度算法求解最優策略184
7.4.2用異策策略梯度算法求解最優策略189
7.5本章小結195
7.6練習與模擬面試196
第8章執行者/評論者197
8.1執行者/評論者方法197
8.2同策執行者/評論者算法198
8.2.1動作價值執行者/評論者算法198
8.2 .2優勢執行者/評論者算法199
8.2.3帶資格蹟的執行者/評論者算法200
8.3基於代理優勢的同策算法201
8.3.1性能差別引理201
8.3.2代理優勢202
8.3.3鄰近策略優化203
8.4自然梯度和信賴域算法205
8.4.1KL散度與Fisher信息矩陣206
8.4.2代理優勢的信賴域208
8.4.3自然策略梯度算法209
8.4.4信賴域策略優化212
8.5重要性採樣異策執行者/評論者算法213
8.6案例：雙節倒立擺214
8.6.1用同策執行者/評論者算法求解最優策略216
8.6.2用基於代理優勢的同策算法求解最優策略226
8.6.3用自然策略梯度和信賴域算法求解最優策略230
8.6.4用重要性採樣異策執行者/評論者算法求解最優策略242
8.7本章小結246
8.8練習與模擬面試247
第9章連續動作空間的確定性策略248
9.1確定性策略梯度定理248
9.2同策確定性算法250
9.3異策確定性算法251
9.3.1基本的異策確定性執行者/評論者算法251
9.3.2深度確定性策略梯度算法253
9.3.3雙重延遲深度確定性策略梯度算法254
9.4探索過程255
9.5案例：倒立擺的控制256
9.5.1用深