大模型工程化：AI驅動下的數據體系

張凱，騰訊專家工程師，主要從事游戲的大數據分析工作。具有10多年的因特網從業經驗，先後負責游戲安全對抗、反欺詐對抗、游戲大數據應用等項目。曾主編3本暢銷圖書，榮獲異步社區“2023年度影響力作者獎”。

司書強，騰訊資深專家工程師，負責游戲業務的數據工程、數據分析等工作。在大數據技術工程、數據分析、商務智能、企業級數據治理等領域有10年以上的實踐積累，主導並落地多個大型企業數據體系建設。

劉岩，騰訊資深專家工程師，前三一重工智能製造研究院院長。目前負責騰訊游戲AI驅動下的數據體系建設工作，曾負責全球“燈塔工廠”建設。在數據驅動業務、業務流程重構、數據智能應用等領域有20年以上的工作經驗，主導和落地多個大型企業數字化轉型項目。

張昱，騰訊資深工程師，主要從事游戲大模型、大數據應用等工作。具有10年大數據、數倉技術和數據分析領域從業經驗，曾先後負責雲產品研發、大數據治理、湖倉一體和大模型應用等項目。

戴詩峰，騰訊資深工程師，主要從事游戲的數據治理規劃與架構工作。具有近20年的數據領域工作經驗，參與多個領域大數據平臺和數據治理的咨詢與交付工作，擅長數據資產體系、數據資產持續運營、數據治理標準等方面的規劃與設計。

謝思發，騰訊資深工程師，主要從事游戲行業的算法研究工作。具有8年以上的大數據搜索推薦實戰經驗，曾先後負責游戲用戶畫像建設、推薦系統建設及游戲知識圖譜（游譜）系統的建設與應用。曾發表多篇學術論文和專利，在OGB挑戰賽等國際賽事中獲得佳績。

李飛宏，騰訊專家工程師，主要從事游戲的大數據平臺研發及治理工作。具有10多年的大數據行業從業經驗，曾先後負責游戲大數據分析平臺、游戲數據治理平臺、游戲大數據應用等項目，主編並參與多個騰訊數據治理標準的編寫工作。

目 錄

第 1部分 大模型技術的發展與應用

第 1章 大模型的發展現狀 2

1.1 大模型的發展歷程 2

1.2 大模型的市場規模 6

1.3 大模型技術的應用現狀 8

1.3.1 通用大模型技術的應用 8

1.3.2 領域大模型技術的應用 10

1.4 小結 14

第 2章 大模型與數據體系 15

2.1 業務對數據體系的需求 15

2.2 經典數據中台解決方案 19

2.2.1 技術平臺 19

2.2.2 數據建模 21

2.2.3 數據治理 26

2.3 大模型帶來的新機會 27

2.3.1 大模型的優勢與不足 27

2.3.2 大模型與經典數據中台 30

2.3.3 大模型的新思路 32

2.4 全新的大模型解決方案 35

2.4.1 建設目標 35

2.4.2 關鍵技術 36

2.4.3 方案架構 37

2.5 小結 38

 

第 2部分 大模型下的關鍵基礎設施

第3章 大模型下的新基建 40

3.1 湖倉一體引擎 40

3.1.1 數據技術的發展 41

3.1.2 湖倉一體架構 47

3.2 DeltaLH湖倉的關鍵技術 51

3.2.1 存儲計算分離 51

3.2.2 數據冷熱分層 53

3.2.3 湖倉一體化 55

3.3 實時數據寫入 57

3.3.1 實時數據鏈路 58

3.3.2 全鏈路監控 62

3.3.3 數據預構建 64

3.4 高效數據分析 67

3.4.1 查詢引擎優化 67

3.4.2 物化透明加速 72

3.5 小結 74

 

第3部分 大模型下的數據資產

第4章 數據資產重塑 76

4.1 數據資產方案的現狀 76

4.2 面臨的核心挑戰 80

4.2.1 缺失非結構化標準 80

4.2.2 建設和治理成本高 81

4.2.3 運營目標不一致 82

4.3 重塑數據資產的思路 83

4.4 小結 85

第5章 數據資產標準 86

5.1 需求資產標準 86

5.1.1 結構化需求 87

5.1.2 行業知識資產 87

5.1.3 AI可理解需求 89

5.2 特徵資產標準 90

5.2.1 個人特徵資產 90

5.2.2 公共特徵資產 91

5.3 庫表資產標準 92

5.3.1 粒度參數 93

5.3.2 熱度參數 94

5.3.3 速度參數 95

5.4 小結 96

第6章 數據資產建設 97

6.1 AI助力資產初始化 98

6.1.1 特徵資產初始化 99

6.1.2 庫表資產初始化 100

6.2 AI輔助需求資產建設 101

6.2.1 結構化需求資產建設 101

6.2.2 行業知識資產建設 102

6.2.3 AI可理解的需求資產建設 106

6.3 AI輔助特徵資產建設 109

6.3.1 個人特徵資產建設 109

6.3.2 公共特徵資產建設 112

6.4 AI輔助庫表資產建設 113

6.4.1 成本模型訓練 114

6.4.2 物化視圖候選集生成 115

6.4.3 物化視圖推薦 115

6.5 小結 116

第7章 數據資產運營 117

7.1 數據資產運營的目標 117

7.2 需求資產運營 118

7.2.1 需求質量評估模型 119

7.2.2 需求質量達標率 119

7.3 特徵資產運營 120

7.3.1 公共特徵轉化率 121

7.3.2 特徵資產復用率 122

7.4 庫表資產運營 123

7.4.1 庫表資產成本優化 123

7.4.2 庫表資產覆蓋率 125

7.5 小結 126

 

第4部分 自研領域大模型的技術原理

第8章 領域大模型的基礎 128

8.1 領域大模型的背景 128

8.1.1 通用大模型的局限性 128

8.1.2 領域大模型的優勢 130

8.2 領域大模型方案 131

8.2.1 3種構建方案 131

8.2.2 檢索增強生成 132

8.2.3 參數高效微調 137

8.2.4 模型選型 143

8.3 領域大模型架構 144

8.4 小結 145

第9章 需求理解算法 146

9.1 從模糊需求到清晰需求 146

9.1.1 必要性 146

9.1.2 面臨的挑戰 148

9.2 常見的需求理解算法 148

9.2.1 傳統Query理解算法 148

9.2.2 創新需求理解算法 149

9.3 需求理解算法的設計原理 150

9.3.1 構建業務知識庫 151

9.3.2 構建需求理解鏈路 153

9.4 小結 155

第 10章 需求匹配算法 156

10.1 從需求到資產 156

10.1.1 必要性 156

10.1.2 面臨的挑戰 158

10.1.3 解決方案 159

10.2 召回算法 161

10.2.1 資產圖譜 161

10.2.2 文本召回 166

10.2.3 向量召回 171

10.2.4 意圖召回 173

10.2.5 召回粗排 178

10.3 精排算法 179

10.3.1 數據生成 179

10.3.2 模型微調 182

10.3.3 多LoRA部署 184

10.4 小結 188

第 11章 需求轉譯算法 189

11.1 從需求到查詢 189

11.1.1 必要性 189

11.1.2 面臨的問題 191

11.2 解決方案 191

11.2.1 傳統的Text2SQL技術 191

11.2.2 創新的需求轉譯算法 192

11.3 實戰原理 193

11.3.1 評測數據集 193

11.3.2 算法流程 195

11.4 小結 203

 

第5部分 大模型的工程化原理

第 12章 工程化的基礎 206

12.1 工程化的背景 206

12.1.1 工程化的定義 206

12.1.2 工程化的理念 207

12.2 工程化的核心 208

12.3 工程化的建設思路 210

12.3.1 業務流程 210

12.3.2 系統架構 211

12.4 小結 213

第 13章 工程化的技術籌備 214

13.1 技術調研評估 214

13.2 大模型應用框架 216

13.2.1 核心層 217

13.2.2 社區組件層 218

13.2.3 應用層 220

13.2.4 技術生態層 221

13.3 提示詞工程 221

13.3.1 少樣本提示 222

13.3.2 鏈式思考提示 223

13.3.3 自調整提示 224

13.4 開發環境的準備過程 225

13.4.1 軟件安裝 225

13.4.2 依賴庫安裝 226

13.5 小結 227

第 14章 工程化的建設要點 228

14.1 明確構建目標 229

14.1.1 功能性需求 229

14.1.2 非功能性需求 230

14.1.3 流程定義 230

14.2 核心功能的實現 233

14.2.1 模塊化架構 233

14.2.2 安全管控 236

14.2.3 工具模型 239

14.2.4 人機協同 246

14.2.5 應用場景 257

14.3 運營質量的評估指標 259

14.3.1 回歸評估指標 259

14.3.2 資產運營指標 261

14.4 小結 262

第 15章 工程化的安全策略 263

15.1 安全體系建設要點 263

15.1.1 制度與流程 264

15.1.2 數據安全 264

15.1.3 運行安全 266

15.2 安全體系實施方案 268

15.2.1 數據分類分級方案 268

15.2.2 資產匿名化與脫敏方案 269

15.2.3 訪問控制方案 270

15.2.4 監控告警方案 271

15.3 小結 272

 

第6部分 大模型在游戲領域的應用

第 16章 游戲領域的應用案例 274

16.1 游戲經營分析的背景 274

16.2 智能助手系統架構 275

16.3 代碼生成應用 277

16.4 探索分析應用 288

16.5 小結 291