多目標貝葉斯優化——面向大模型的超參調優理論

Name: 多目標貝葉斯優化——面向大模型的超參調優理論
Price: 336 TWD
Availability: InStock
Author: 徐華，王洪燕，袁源
ISBN: 7302667519

徐華，王洪燕，袁源

預覽內頁

出版商: 清華大學
出版日期: 2024-07-01
售價: $354
貴賓價: 9.5 折 $336
語言: 簡體中文
ISBN: 7302667519
ISBN-13: 9787302667513
相關分類: LangChain

立即出貨 (庫存 < 4)

商品描述

"以大規模深度學習模型超參調優為代表的評估代價昂貴的多目標優化問題被稱為昂貴的多目標優化問題（Expensive MOPs）。昂貴的多目標優化問題廣泛存在於現實世界中的不同應用領域。其優化目標通常為黑盒函數，且求得其真實目標函數值的評估代價高昂；而現實世界的有限資源和成本只允許求解器進行有限次函數評估，用於搜索該類問題的帕累托前沿。多目標貝葉斯優化方法能有效地求解該類問題，其利用高斯過程代理模型近似原優化問題以降低函數評估成本，並使用能平衡利用和探索之間關系的獲取函數推薦候選解。本書關註大模型超參調優這類昂貴的多目標優化問題，針對其經典的求解方法(貝葉斯優化方法)開展理論方法探索。針對低維和高維決策空間中的並行化函數評估問題、獲取函數優化效率問題以及維度災難和邊界問題，本書對多目標貝葉斯優化方法進行四方面的研究，旨在有效地求解低維和高維昂貴的多目標優化問題。本書可作為當前大模型超參調優理論研究與應用實踐的指導書，也可作為演化學習、智能優化、大數據及人工智能等相關專業的教材和參考書。 "

目錄大綱

第1章概述1

1.1研究背景1

1.2昂貴的多目標優化問題3

1.3研究現狀分析5

1.3.1低維多目標貝葉斯優化方法5

1.3.2高維多目標貝葉斯優化方法10

1.4本書的主要研究內容12

1.5本書的結構安排14

第2章背景知識15

2.1基本概念15

2.2貝葉斯優化16

2.3高斯過程18

2.3.1均值函數和核函數選擇19

2.3.2超參數選擇20

2.4獲取函數21

2.4.1期望改進22

2.4.2知識梯度23

2.4.3熵搜索和預測熵搜索27

2.4.4多步最優獲取函數28

2.5標準合成的多目標測試問題29

2.6多目標優化方法的評價指標30

2.7本章小結33

第3章研究綜述34

3.1綜述部分的總體結構34

3.2相關研究工作34

3.2.1高維優化34

3.2.2組合優化37

3.2.3噪聲和魯棒優化38

3.2.4昂貴的約束優化41

3.2.5多目標優化43

3.2.6多任務優化46

3.2.7多保真度優化49

3.2.8遷移學習/元學習50

3.2.9並行/批次貝葉斯優化52

3.3本章小結53

目錄多目標貝葉斯優化——面向大模型的超參調優理論〖2〗〖2〗〖1〗第4章基於自適應採樣的批量多目標貝葉斯優化方法54

4.1引言54

4.2ParEGO簡介與局限性分析55

4.3基於自適應採樣的批量多目標貝葉斯優化的研究方法56

4.3.1算法框架57

4.3.2初始化58

4.3.3函數評估與目標函數聚合58

4.3.4獲取函數58

4.3.5自適應批量採樣60

4.3.6高斯模型及更新62

4.4實驗63

4.4.1實驗設置63

4.4.2標準合成測試集上的對比結果65

4.4.3採樣策略對算法性能的影響74

4.5神經網絡超參調優任務案例分析77

4.5.1問題描述78

4.5.2實驗結果與分析78

4.6本章小結81

第5章基於塊坐標更新的高維多目標貝葉斯優化方法82

5.1引言82

5.2基於塊坐標更新的高維多目標貝葉斯優化的研究方法83

5.2.1算法框架83

5.2.2初始化84

5.2.3函數評估與目標函數聚合85

5.2.4塊坐標更新87

5.2.5貪心獲取函數89

5.2.6高斯模型及候選解推薦90

5.3實驗91

5.3.1實驗設置91

5.3.2標準合成測試集上的對比結果92

5.3.3塊坐標更新對決策空間降維的影響100

5.3.4貪心獲取函數對平衡收斂性與多樣性的影響103

5.3.5塊大小d對算法性能的影響106

5.3.6上下文向量對算法性能的影響108

5.4本章小結109

第6章基於可加高斯結構的高維多目標貝葉斯優化方法111

6.1引言111

6.2ADDGPUCB簡介與局限性分析112

6.3基於可加高斯結構的高維多目標貝葉斯優化的研究方法114

6.3.1算法框架114

6.3.2初始化115

6.3.3函數評估與目標函數聚合116

6.3.4決策空間劃分學習116

6.3.5可加高斯模型117

6.3.6可加雙目標獲取函數和候選解推薦118

6.3.7模型更新119

6.4實驗120

6.4.1實驗設置120

6.4.2標準合成測試集上的對比結果121

6.4.3可加雙目標獲取函數對算法性能的影響125

6.5本章小結127

第7章基於變量交互分析的高維多目標貝葉斯優化方法128

7.1引言128

7.2基於變量交互分析的高維多目標貝葉斯優化的研究方法129

7.2.1算法框架129

7.2.2初始化與函數評估131

7.2.3可分多目標問題重定義131

7.2.4決策空間劃分學習131

7.2.5多目標可加高斯模型133

7.2.6候選解推薦134

7.2.7模型更新135

7.3實驗135

7.3.1實驗設置135

7.3.2標準合成測試集上的對比結果136

7.3.3獲取函數對算法性能的影響137

7.4本章小結139

第8章智能交通領域優化問題案例分析140

8.1問題描述140

8.1.1汽車側面碰撞問題140

8.1.2帶有偏好信息的汽車駕駛室設計問題141

8.2實驗結果與分析142

8.2.1汽車側面碰撞問題的結果分析143

8.2.2帶有偏好信息的汽車駕駛室設計問題的結果分析143

8.3本章小結145

第9章未來研究工作展望146

9.1分佈式貝葉斯優化146

9.2聯邦貝葉斯優化147

9.3動態優化147

9.4異構評估148

9.5算法公平性148

9.6非平穩優化149

9.7負遷移150

第10章全書總結151

參考文獻153

附錄178

英文對照表178

圖索引180

表索引182

多目標貝葉斯優化——面向大模型的超參調優理論

徐華，王洪燕，袁源

相關主題

商品描述

目錄大綱

類似商品