互聯網大廠推薦算法實戰

趙傳霖，博士，畢業於清華大學電氣工程專業，知乎“機器學習”話題優秀答主，目前在北京快手科技有限公司擔任算法專家，擁有10餘年的互聯網算法從業經驗，主要研究方向為推薦系統、計算廣告、個性化搜索。分別以知識平台的“石塔西”帳號和“石塔西的說書館”自媒體號發表了多篇以推薦算法為主題的原創性文章，深受廣大讀者的好評，並曾經4次獲得知乎創作排行榜“知勢榜·影響力榜”（科技互聯網領域）第1名。

第 1章 推薦系統簡介 1

1.1 推薦系統的意義 2

1.2 推薦系統是如何運行的 3

1.3 推薦系統架構 5

1.3.1 功能架構 5

1.3.2 數據架構 8

1.4 推廣搜的區別與聯系 10

1.4.1 三駕馬車的相同點 10

1.4.2 推薦與搜索 11

1.4.3 推搜與廣告 12

1.5 小結 12

第 2章 推薦系統中的特徵工程 14

2.1 批判“特徵工程過時”的錯誤論調 15

2.2 特徵提取 16

2.2.1 物料畫像 16

2.2.2 用戶畫像 18

2.2.3 交叉特徵 21

2.2.4 偏差特徵 22

2.3 數值特徵的處理 25

2.3.1 處理缺失值 25

2.3.2 標準化 25

2.3.3 數據平滑與消偏 26

2.3.4 分桶離散化 27

2.4 類別特徵的處理 28

2.4.1 類別特徵更受歡迎 28

2.4.2 類別特徵享受VIP服務 29

2.4.3 映射 30

2.4.4 特徵哈希 31

2.5 小結 32

第3章 推薦系統中的Embedding 33

3.1 無中生有：推薦算法中的Embedding 33

3.1.1 傳統推薦算法：博聞強識 33

3.1.2 推薦算法的剛需：擴展性 35

3.1.3 深度學習的核心思想：無中生有的Embedding 36

3.1.4 Embedding的實現細節 37

3.2 共享Embedding還是獨占Embedding 42

3.2.1 共享Embedding 42

3.2.2 獨占Embedding 43

3.3 Parameter Server：推薦算法的訓練加速器 46

3.3.1 傳統分佈式計算的不足 46

3.3.2 基於PS的分佈式訓練範式 47

3.3.3 PS中的並行策略 49

3.3.4 基於ps-lite實現分佈式算法 51

3.3.5 更先進的PS 57

3.4 小結 60

第4章 精排 61

4.1 推薦算法的5個維度 61

4.2 交叉結構 62

4.2.1 FTRL：傳統時代的記憶大師 62

4.2.2 FM：半隻腳邁入DNN的門檻 69

4.2.3 Wide & Deep：兼顧記憶與擴展 71

4.2.4 DeepFM：融合二階交叉 74

4.2.5 DCN：不再執著於DNN 76

4.2.6 AutoInt：變形金剛做交叉 79

4.3 用戶行為序列建模 86

4.3.1 行為序列信息的構成 86

4.3.2 簡單Pooling 86

4.3.3 用戶建模要“千物千面” 87

4.3.4 建模序列內的依賴關系 89

4.3.5 多多益善：建模長序列 91

4.4 小結 96

第5章 召回 97

5.1 傳統召回算法 97

5.1.1 基於物料屬性的倒排索引 98

5.1.2 基於統計的協同過濾算法 99

5.1.3 矩陣分解算法 99

5.1.4 如何合並多路召回 100

5.2 向量化召回統一建模框架 101

5.2.1 如何定義正樣本 102

5.2.2 重點關註負樣本 103

5.2.3 解耦生成Embedding 105

5.2.4 如何定義優化目標 106

5.3 借助Word2Vec 111

5.3.1 最簡單的Item2Vec 112

5.3.2 Airbnb召回算法 116

5.3.3 阿裡巴巴的EGES召回 118

5.4 “瑞士軍刀”FM的召回功能 120

5.4.1 打壓熱門物料 121

5.4.2 增廣Embedding 122

5.5 大廠主力：雙塔模型 124

5.5.1 不同場景下的正樣本 124

5.5.2 簡化負採樣 124

5.5.3 雙塔結構特點 126

5.5.4 Sampled Softmax Loss的技巧 127

5.5.5 雙塔模型實現舉例 129

5.6 鄰里互助：GCN召回 131

5.6.1 GCN基礎 131

5.6.2 PinSage：大規模圖捲積的經典案例 134

5.6.3 異構圖上的GCN 142

5.7 小結 143

第6章 粗排與重排 145

6.1 粗排 146

6.1.1 模型：雙塔仍然是主力 146

6.1.2 目標：拜精排為師 154

6.1.3 數據：糾正曝光偏差 158

6.1.4 模型：輕量級全連接 159

6.2 重排 161

6.2.1 基於啟發式規則 162

6.2.2 基於行列式點過程 165

6.2.3 基於上下文感知的排序學習 174

6.3 小結 180

第7章 多任務與多場景 181

7.1 多任務推薦 181

7.1.1 多任務建模的誤區 182

7.1.2 並發建模 182

7.1.3 串行建模 193

7.1.4 多個損失的融合 202

7.1.5 多個打分的融合 206

7.2 多場景推薦 209

7.2.1 特徵位置 210

7.2.2 模型結構 211

7.2.3 模型參數 215

7.3 小結 217

第8章 冷啟動 219

8.1 Bandit算法 219

8.1.1 多臂老虎機問題 220

8.1.2 Epsilon Greedy 221

8.1.3 UCB 222

8.1.4 概率匹配 223

8.1.5 Bayesian Bandit 223

8.1.6 上下文Bandit 225

8.2 元學習 228

8.2.1 什麽是元學習 228

8.2.2 什麽是MAML 230

8.2.3 MAML針對推薦場景的改造 233

8.2.4 Meta-Embedding 236

8.3 對比學習 242

8.3.1 對比學習簡介 242

8.3.2 對比學習在推薦系統中的作用與使用方式 244

8.3.3 辨析對比學習與向量化召回 246

8.3.4 糾偏長尾物料的實踐 247

8.3.5 糾偏小眾用戶的實踐 249

8.4 其他算法 251

8.4.1 遷移學習 251

8.4.2 預測物料消費指標 252

8.4.3 以群體代替個體 253

8.4.4 借鑒多場景推薦 254

8.5 小結 255

第9章 評估與調試 256

9.1 離線評估 256

9.1.1 評估排序算法 257

9.1.2 評估召回算法 261

9.1.3 人工評測 266

9.1.4 持續評估 267

9.2 在線評估：A/B實驗 267

9.2.1 線上：流量劃分 268

9.2.2 線下：統計分析 273

9.3 打開模型的黑盒 276

9.3.1 外部觀察 276

9.3.2 內部剖析 277

9.4 線下漲了，線上沒效果 280

9.4.1 特徵穿越 280

9.4.2 老湯模型 282

9.4.3 冰山：系統的內在缺陷 284

9.4.4 鏈路一致性問題 285

9.5 小結 286

第 10章 推薦算法工程師的自我修養 287

10.1 工作 287

10.1.1 重視代碼的規範性 287

10.1.2 重視離線評測 288

10.1.3 重視使用工具 289

10.2 學習 290

10.2.1 堅持問題導向 290

10.2.2 重在舉一反三 291

10.2.3 敢於懷疑 292

10.2.4 落實代碼細節 293

10.3 面試 293

10.3.1 社招 294

10.3.2 校招 296

10.4 小結 297