推薦系統：算法、案例與大模型 （腰封定製版）

刘强，2009 年毕业于中国科学技术大学，有15年大数据与AI相关实践经验。出版过畅销书《构建企业级推荐系统》，翻译过《AI革命》《认识AI》《MongoDB 性能调优实战》等优秀作品。目前是杭州数卓信息技术有限公司 CEO，公司业务方向为构建大模型推荐系统、大模型知识库等，帮助企业利用大模型技术进行降本提效与精细化运营。同时，担任达观数据高级技术顾问，与达观数据一同推动推荐系统及大模型技术在行业的落地 。

前言

第 1章 推薦系統基礎 2

1.1 推薦系統的定義 3

1.2 推薦系統解決的問題 4

1.3 推薦系統的應用領域 5

1.4 常用的推薦算法 5

1.4.1 基於內容的推薦算法 5

1.4.2 協同過濾算法 6

1.5 構建推薦系統的挑戰 8

1.5.1 數據維度 8

1.5.2 模型維度 9

1.5.3 服務維度 9

1.5.4 場景維度 9

1.5.5 價值維度 10

1.6 推薦系統的價值 10

1.7 小結 11

第 2章 推薦系統的產品與運營 12

2.1 推薦系統產品 13

2.2 推薦系統產品形態 13

2.2.1 熱門推薦/榜單推薦 13

2.2.2 個性化推薦 15

2.2.3 信息流推薦 16

2.2.4 物品關聯推薦 18

2.3 推薦系統運營 19

2.4 小結 20

第3章 推薦系統的業務流程與架構 22

3.1 推薦算法的業務流程 22

3.1.1 數據收集 23

3.1.2 ETL與特徵工程 23

3.1.3 模型構建 24

3.1.4 模型預測 25

3.1.5 Web服務 26

3.1.6 離線評估與在線評估 27

3.1.7 其他支撐模塊 28

3.2 推薦服務的pipeline架構 28

3.3 推薦系統的工程架構設計原則 31

3.4 小結 34

第4章 推薦系統的數據源與數據預處理 35

4.1 推薦系統的數據源 35

4.1.1 根據產品功能來劃分 35

4.1.2 根據數據載體來劃分 38

4.1.3 根據數據組織形式來劃分 40

4.2 數據預處理 42

4.2.1 抽取 43

4.2.2 轉換 44

4.2.3 加載 44

4.3 小結 45

第5章 推薦系統的特徵工程 46

5.1 推薦系統架構下的特徵工程 47

5.2 推薦系統的5類特徵 49

5.2.1 用戶畫像特徵 49

5.2.2 物品畫像特徵 49

5.2.3 用戶行為特徵 50

5.2.4 場景特徵 50

5.2.5 交叉特徵 50

5.3 推薦算法與特徵工程 51

5.3.1 個性化推薦下的樣本與特徵 51

5.3.2 物品關聯推薦下的樣本與特徵 52

5.4 推薦系統特徵工程面臨的挑戰 54

5.4.1 異構數據 54

5.4.2 實時推薦 54

5.4.3 復雜場景下的推薦 54

5.4.4 用戶隱私與信息安全 55

5.5 小結 56

第6章 推薦系統的召回算法 58

6.1 什麽是召回算法 58

6.2 常用的召回算法介紹 59

6.2.1 基於算法復雜度分類 59

6.2.2 基於數據維度分類 61

6.2.3 基於算法是否個性化分類 63

6.3 關於召回算法的使用說明 64

6.3.1 別使用太復雜的召回算法 64

6.3.2 使用多維度的召回算法 65

6.3.3 基於業務策略進行召回 65

6.4 小結 65

第7章 基於規則和策略的召回算法 66

7.1 熱門召回 66

7.2 基於物品標簽的召回 67

7.2.1 物品關聯召回 68

7.2.2 個性化召回 70

7.3 基於用戶畫像的召回 72

7.3.1 基於用戶自然屬性的召回 72

7.3.2 基於用戶社會屬性的召回 72

7.3.3 基於用戶業務屬性的召回 73

7.3.4 基於用戶設備屬性的召回 73

7.4 基於地域的召回 74

7.5 基於時間的召回 74

7.6 小結 75

第8章 基礎召回算法 76

8.1 關聯規則召回算法 76

8.2 聚類召回算法 78

8.2.1 基於用戶聚類的召回 79

8.2.2 基於物品聚類的召回 79

8.3 樸素貝葉斯召回算法 80

8.4 協同過濾召回算法 83

8.4.1 基於用戶的協同過濾 84

8.4.2 基於物品的協同過濾 85

8.5 矩陣分解召回算法 85

8.5.1 矩陣分解召回算法的核心思想 86

8.5.2 矩陣分解召回算法的實現原理 87

8.5.3 矩陣分解召回算法的求解方法 88

8.6 小結 89

第9章 高階召回算法 91

9.1 嵌入方法召回 91

9.1.1 word2vec原理介紹 91

9.1.2 item2vec原理介紹 94

9.1.3 item2vec在召回中的應用 95

9.2 深度學習召回 97

9.2.1 YouTube深度學習召回算法原理 97

9.2.2 優化召回算法的線上服務策略 99

9.3 小結 101

第 10章 推薦系統的排序算法 104

10.1 什麽是排序算法 104

10.2 常用的排序算法 106

10.2.1 基於規則和策略的排序算法 106

10.2.2 基礎排序算法 106

10.2.3 高階排序算法 107

10.3 關於排序算法的3點說明 107

10.3.1 是否一定要用排序算法 107

10.3.2 粗排和精排 108

10.3.3 排序後的業務調控 108

10.4 小結 108

第 11章 基於規則和策略的排序算法 110

11.1 多種召回隨機打散 110

11.2 按照某種順序排列 112

11.3 召回得分歸一化排序 114

11.4 匹配用戶畫像排序 115

11.5 利用代理算法排序 117

11.6 幾種策略的融合使用 118

11.7 小結 119

第 12章 基礎排序算法 120

12.1 logistic回歸排序算法 120

12.1.1 logistic回歸的算法原理 121

12.1.2 logistic回歸的特點 123

12.1.3 logistic回歸的工程實現 123

12.1.4 logistic回歸在業界的應用 124

12.2 FM排序算法 124

12.2.1 FM的算法原理 125

12.2.2 FM的參數估計 127

12.2.3 FM的計算復雜度 127

12.2.4 FM模型求解 128

12.2.5 FM用於推薦排序 128

12.3 GBDT排序算法 129

12.3.1 GBDT的算法原理 129

12.3.2 GBDT用於推薦排序 131

12.4 小結 132

第 13章 高階排序算法 134

13.1 Wide & Deep排序算法 134

13.1.1 模型特性 134

13.1.2 模型架構 135

13.1.3 Wide & Deep的工程實現 138

13.2 YouTube深度學習排序算法 139

13.2.1 模型架構 139

13.2.2 加權logistic回歸解釋 140

13.2.3 預測播放時長 141

13.3 小結 142

第 14章 推薦系統的冷啟動 146

14.1 冷啟動的定義 146

14.2 冷啟動面臨的挑戰 146

14.3 解決冷啟動問題為何如此重要 147

14.4 解決冷啟動問題的方法和策略 148

14.4.1 用戶冷啟動 149

14.4.2 物品冷啟動 152

14.5 小結 154

第 15章 推薦系統的效果評估 155

15.1 推薦系統評估的目的 155

15.2 推薦系統評估方法的分類 156

15.3 常用評估方法 157

15.3.1 離線評估 157

15.3.2 在線評估 162

15.4 小結 165

第 16章 推薦系統的A/B測試 166

16.1 什麽是A/B測試 166

16.2 A/B測試的價值 167

16.2.1 為評估產品優化效果提供科學的證據 168

16.2.2 增強決策的說服力 168

16.2.3 提升用戶體驗 168

16.2.4 提升公司變現能力 168

16.3 推薦系統的A/B測試實現方案 169

16.3.1 A/B測試的核心模塊 170

16.3.2 A/B測試的業務流程 172

16.4 小結 176

第 17章 推薦系統的Web服務 177

17.1 推薦系統Web服務的構成 177

17.2 推薦系統API服務 180

17.3 推薦系統推斷服務 182

17.3.1 推斷服務的兩種實現方式 182

17.3.2 事先計算型推斷服務 183

17.3.3 實時裝配型推斷服務 184

17.3.4 兩種推斷服務的優劣對比 186

17.4 小結 187

第 18章 Netflix Prize推薦算法代碼實戰案例 190

18.1 Netflix Prize競賽簡介 191

18.2 Netflix Prize競賽數據集簡介 191

18.3 數據預處理 193

18.4 推薦系統算法實現 193

18.4.1 召回算法 193

18.4.2 排序算法 206

18.5 小結 210

第 19章 H&M推薦算法代碼實戰案例 211

19.1 H&M數據集簡介 211

19.2 數據預處理與特徵工程 214

19.2.1 基於物品信息構建物品特徵矩陣 214

19.2.2 基於標簽構建用戶興趣畫像 215

19.2.3 構建推薦算法的特徵矩陣 220

19.3 推薦系統算法實現 223

19.3.1 召回算法 223

19.3.2 排序算法 230

19.4 小結 244

第 20章 推薦系統在金融行業的應用 246

20.1 達觀數據推薦系統簡介 247

20.2 項目背景 249

20.3 核心功能模塊 250

20.3.1 增長洞察 250

20.3.2 數字畫像 251

20.3.3 推薦引擎 251

20.3.4 智能監控 251

20.3.5 應用交流 251

20.3.6 平臺管理 252

20.4 技術實現方案 252

20.4.1 系統總體架構 252

20.4.2 系統數據流 253

20.4.3 模型特徵加工流程 254

20.4.4 模型訓練和預測流程 255

20.4.5 項目主要成果 256

20.5 小結 258

第 21章 推薦系統在零售行業的應用 259

21.1 零售電商推薦需求背景 259

21.2 零售推薦場景的價值 260

21.3 達觀智能推薦在零售行業的應用案例 261

21.3.1 某知名運動品牌智能推薦案例 261

21.3.2 某知名日用品牌智能推薦案例 265

21.4 小結 268

第 22章 ChatGPT與大模型 270

22.1 語言模型發展史 271

22.1.1 統計語言模型 271

22.1.2 神經網絡語言模型 271

22.1.3 預訓練語言模型 272

22.1.4 大語言模型 272

22.2 全球大模型簡介 274

22.2.1 OpenAI大模型發展歷程 274

22.2.2 全球大模型發展歷程 274

22.3 大模型核心技術簡介 276

22.3.1 預訓練技術 276

22.3.2 微調技術 276

22.3.3 應用 282

22.4 大模型的應用場景 285

22.4.1 內容生成 286

22.4.2 問題解答 288

22.4.3 交互式對話 288

22.4.4 生產力工具/企業服務 289

22.4.5 特定硬件終端上的應用 289

22.4.6 搜索推薦 290

22.5 小結 291

第 23章 ChatGPT、大模型在推薦系統中的應用 294

23.1 大模型為什麽能應用於推薦系統 295

23.2 大模型在推薦系統中的應用方法 296

23.2.1 大模型用於數據處理與特徵工程 296

23.2.2 大模型用於召回與排序 298

23.2.3 大模型用於交互控制 315

23.2.4 大模型用於冷啟動 321

23.2.5 大模型用於推薦解釋 324

23.2.6 大模型用於跨領域推薦 325

23.3 大模型應用於推薦系統的問題及挑戰 326

23.3.1 大模型進行信息交互的形式限制 327

23.3.2 大模型輸入的token數量限制 327

23.3.3 位置偏差 328

23.3.4 流行度偏差 328

23.3.5 輸出結果的隨機性 328

23.4 大模型推薦系統的發展趨勢與行業應用 329

23.4.1 大模型和傳統推薦系統互為補充 329

23.4.2 融合多模態信息是大模型推薦系統的發展方向 330

23.4.3 基於增量學習的大模型推薦系統一定會出現 330

23.4.4 對話式推薦系統會成為重要的產品形態 330

23.4.5 借助大模型，推薦和搜索有可能合二為一 331

23.5 小結 331

第 24章 推薦系統的未來發展 336

24.1 政策及技術發展對推薦系統行業的影響 337

24.1.1 政策層面的影響 337

24.1.2 技術層面的影響 338

24.2 推薦系統行業的就業環境變化 338

24.2.1 推薦算法商業策略師是新的職業方向 339

24.2.2 在特定領域和場景下出現新的推薦形態 339

24.2.3 推薦系統行業從業者需要更加關註業務價值產出 339

24.3 推薦系統的應用場景及交互方式 340

24.3.1 家庭場景 340

24.3.2 車載場景 341

24.3.3 VR/AR/MR場景 342

24.3.4 傳統行業的精細化、個性化運營場景 342

24.4 推薦算法與工程架構的發展 343

24.4.1 推薦算法的新範式 343

24.4.2 推薦系統工程層面的發展變化 345

24.5 人與推薦系統的有效協同 347

24.6 推薦系統多維價值體現 348

24.7 小結 348

附錄A 推薦系統預備知識 350