動態規劃與最優控制——近似動態規劃（第I捲） Dynamic Programming & Optimal Control
[美]德梅萃·P. 博塞克斯（Dimitri P. Bertsekas） 著 賈慶山 李岩 譯
相關主題
商品描述
本書系統性介紹動態規劃與**控制，包括動態規劃算法、確定性系統與隨機最短路問題、確定性連續時間**控制、狀態信息完整的問題、狀態信息缺失的問題、次優與適應控制、無窮階段問題等。
目錄大綱
目錄
第 1章動態規劃算法 ...................................................................................................... 1
1.1概述.................................................................................................................... 1
1.2基本問題 ............................................................................................................. 8
1.3算法...................................................................................................................12
1.4狀態增廣和其他重新建模.....................................................................................24
1.5一些數學問題 .....................................................................................................29
1.6動態規劃和極小化極大控制 .................................................................................32
1.7註釋、參考文獻和習題 ........................................................................................35
第 2章確定性系統和最短路徑問題 .................................................................................44
2.1有限狀態系統和最短路徑.....................................................................................44
2.2一些最短路徑的應用 ...........................................................................................47
2.2.1關鍵路徑分析 ...........................................................................................47
2.2.2隱馬爾可夫模型和瓦特比算法....................................................................48
2.3最短路徑算法 .....................................................................................................53
2.3.1標簽糾正方法 ...........................................................................................55
2.3.2標簽糾正變形-A＊算法 ..............................................................................60
2.3.3分支定界..................................................................................................61
2.3.4約束與多目標問題 ....................................................................................63
2.4註釋、參考文獻和習題 ........................................................................................67
第 3章確定性連續時間最優控制 ....................................................................................72
3.1連續時間最優控制...............................................................................................72
3.2哈密爾頓-雅可比-貝爾曼方程 ...............................................................................74
3.3龐特裡亞金最小值原理 ........................................................................................79
3.3.1使用 HJB方程的非正式推導 .....................................................................79
3.3.2一種基於變分思想的推導 ..........................................................................86
3.3.3離散時間問題的最小值原理 .......................................................................89
3.4最小值原理推廣 ..................................................................................................90
3.4.1固定的末端狀態........................................................................................91
3.4.2自由初始狀態 ...........................................................................................93
3.4.3自由終止時間 ...........................................................................................94
3.4.4時變系統與費用........................................................................................97
動態規劃與最優控制——近似動態規劃 (第 I捲)
3.4.5奇異問題..................................................................................................97
3.5註釋、參考文獻和習題 ........................................................................................99
第 4章具有精確狀態信息的問題 .................................................................................. 103
4.1線性系統和二次型費用 ...................................................................................... 103
4.2庫存控制 .......................................................................................................... 112
4.3動態資本分析 ................................................................................................... 119
4.4最優停止問題 ................................................................................................... 122
4.5調度與交換的理由............................................................................................. 130
4.6不確定性的集合隸屬度描述 ............................................................................... 133
4.6.1集合隸屬度估計...................................................................................... 133
4.6.2具有未知且有界擾動的控制 ..................................................................... 138
4.7註釋、參考文獻和習題 ...................................................................................... 140
第 5章不精確狀態信息的問題...................................................................................... 152
5.1化簡為精確信息的情形 ...................................................................................... 152
5.2線性系統和二次型費用 ...................................................................................... 160
5.3線性系統的最小方差控制................................................................................... 165
5.4充分統計量....................................................................................................... 176
5.4.1條件狀態分佈 ......................................................................................... 177
5.4.2有限狀態系統 ......................................................................................... 180
5.5註釋、參考文獻和習題 ...................................................................................... 190
第 6章近似動態規劃 ................................................................................................... 198
6.1確定性等價和自適應控制................................................................................... 199
6.1.1謹慎、探測和對偶控制............................................................................ 203
6.1.2兩階段控制和識別能力............................................................................ 204
6.1.3確定性等價控制和可辨識性 ..................................................................... 205
6.1.4自調節調節器 ......................................................................................... 209
6.2開環反饋控制 ................................................................................................... 210
6.3有限前瞻策略 ................................................................................................... 213
6.3.1有限前瞻策略的性能界............................................................................ 214
6.3.2有限前瞻中的計算問題............................................................................ 217
6.3.3問題近似——強化分解 ............................................................................ 219
6.3.4集結 ...................................................................................................... 223
6.3.5後續費用的參數化近似............................................................................ 227
6.4滾動算法 .......................................................................................................... 234
6.4.1離散確定性問題...................................................................................... 239
6.4.2由模擬評價的 Q-因子 ............................................................................. 251
目錄 IX
6.4.3 Q-因子近似 ............................................................................................ 253
6.5模型預測控制及相關方法................................................................................... 255
6.5.1滾動時段近似 ......................................................................................... 255
6.5.2模型預測控制中的穩定性問題.................................................................. 257
6.5.3結構受限的策略...................................................................................... 262
6.6近似動態規劃中的額外主題 ............................................................................... 266
6.6.1離散化 ................................................................................................... 266
6.6.2其他近似方法 ......................................................................................... 268
6.7註釋、參考文獻和習題 ...................................................................................... 269
第 7章無限階段問題介紹 ............................................................................................ 280
7.1概覽................................................................................................................. 280
7.2隨機最短路徑問題............................................................................................. 282
7.3折扣問題 .......................................................................................................... 290
7.4每階段平均費用問題 ......................................................................................... 293
7.5半馬爾可夫問題 ................................................................................................ 303
7.6註釋、參考文獻和習題 ...................................................................................... 310
附錄 A數學知識復習 ................................................................................................... 320
A.1集合................................................................................................................ 320
A.2歐氏空間 ......................................................................................................... 321
A.3矩陣................................................................................................................ 321
A.4分析................................................................................................................ 324
A.5凸集和凸函數 .................................................................................................. 325
附錄 B優化理論 .......................................................................................................... 327
B.1最優解............................................................................................................. 327
B.2最優性條件 ...................................................................................................... 328
B.3二次型最小化................................................................................................... 329
附錄 C概率論 ............................................................................................................. 330
C.1概率空間 ......................................................................................................... 330
C.2隨機變量 ......................................................................................................... 330
C.3條件概率 ......................................................................................................... 331
附錄 D關於有限狀態馬爾可夫鏈................................................................................... 333
D.1平穩馬爾可夫鏈 ............................................................................................... 333
D.2狀態分類 ......................................................................................................... 334
D.3極限概率 ......................................................................................................... 334
動態規劃與最優控制——近似動態規劃 (第 I捲)
D.4首達時間 ......................................................................................................... 335
附錄 E卡爾曼濾波 ....................................................................................................... 336
E.1最小二乘估計................................................................................................... 336
E.2線性最小二乘估計 ............................................................................................ 337
E.3狀態估計——卡爾曼濾波器 ............................................................................... 342
E.4穩定性方面 ...................................................................................................... 346
E.5高斯-馬爾可夫估計器........................................................................................ 347
E.6確定性最小二乘估計......................................................................................... 349
附錄 F隨機線性系統模型 ............................................................................................. 351
F.1具有隨機輸入的線性系統 .................................................................................. 351
F.2具有有理數譜的過程......................................................................................... 352
F.3 ARMAX模型 .................................................................................................. 353
附錄 G不確定性下的決策問題建模 ............................................................................... 354
G.1不確定性下的決策問題 ..................................................................................... 354
G.2期望效用理論和風險 ........................................................................................ 357
G.3隨機最優控制問題............................................................................................ 365
參考文獻 ........................................................................................................................ 369
