計算廣告：互聯網商業變現的市場與技術, 3/e

刘鹏（@北冥乘海生），现任科大讯飞副总裁，大数据研究院院长。他在清华大学获得博士学位后，加入微软亚洲研究院，从事人工智能研究，后参与创建雅虎北京研究院，出任高级科学家。他还曾任MediaV首席科学家、360商业化首席架构师等职。在多年从业经历中，他一直致力于将人工智能方法与海量数据相结合来解决工业界问题，负责过多个大型互联网商业产品体系。他的微信公众号为“计算广告”。

他特别重视计算广告和大数据技术的普及，他讲授的“计算广告”在网易云课堂有超过3万名学生，已经成为业界进行相关培训的基础教程。他还曾担任北京大学、中国传媒大学等高校客座教授，讲授计算广告相关课程，为推动中国广告产业的数字化、智能化做出了贡献。

 

王超（@德川），于北京大学获得硕士学位后，曾就职于微博、汽车之家等公司的广告部门，从事计算广告领域的研究和实践工作。现任百度主任研发架构师，从事个性化推荐领域相关的工作。

内页插图

第 一部分 在線廣告市場與背景

第 1章 在線廣告綜述 3

1.1免費模式與互聯網核心資產 4

1.2大數據與廣告的關系 5

1.3廣告的定義與目的 7

1.4在線廣告表現形式 9

1.5在線廣告簡史 15

第 2章 計算廣告基礎 20

2.1廣告有效性原理 21

2.2互聯網廣告的技術特點 23

2.3計算廣告的核心問題 24

2.3.1廣告收入的分解 25

2.3.2結算方式與eCPM估計的關系 26

2.4在線廣告相關行業協會 29

2.4.1交互廣告局 29

2.4.2美國廣告代理協會 30

2.4.3美國國家廣告商協會 30

第二部分 在線廣告產品邏輯

第3章 在線廣告產品概覽 33

3.1商業產品的設計原則 34

 

3.2廣告系統的產品接口 35

3.2.1廣告主層級組織與投放管理 35

3.2.2供給方管理接口 38

3.2.3供需之間多種接口形式 39

第4章 合約廣告 41

4.1廣告位合約 42

4.2受眾定向 43

4.2.1受眾定向方法概覽 43

4.2.2受眾定向標簽體系 46

4.2.3標簽體系的設計思路 47

4.3展示量合約 48

4.3.1流量預測 49

4.3.2流量塑形 50

4.3.3在線分配 50

4.3.4產品案例 51

 

 

 

5.4.2 交易終端 ………………………………………………………………… 75

5.4.3 產品案例 ………………………………………………………………… 75

5.5 競價廣告與合約廣告的比較 …………………………………………………… 77

第6章 程序化交易廣告 …………………………………………………………………… 78

6.1 實時競價 ………………………………………………………………………… 79

6.2 其他程序化交易方式 …………………………………………………………… 82

6.2.1 優選 ……………………………………………………………………… 82

6.2.2 私有市場 ………………………………………………………………… 83

6.2.3 程序化直投 ……………………………………………………………… 84

6.2.4 廣告交易方式譜系 ……………………………………………………… 84

6.3 廣告交易平臺 …………………………………………………………………… 85

6.4 需求方平臺 ……………………………………………………………………… 87

6.4.1 需求方平臺產品策略 …………………………………………………… 87

6.4.2 出價策略 ………………………………………………………………… 88

6.4.3 出價和定價過程 ………………………………………………………… 89

6.4.4 重定向 …………………………………………………………………… 89

6.4.5 新客推薦 ………………………………………………………………… 91

6.4.6 產品案例 ………………………………………………………………… 92

6.5 供給方平臺 ……………………………………………………………………… 94

6.5.1 供給方平臺產品策略 …………………………………………………… 94

6.5.2 Header Bidding …………………………………………………………… 95

6.5.3 產品案例 ………………………………………………………………… 96

第7章 數據加工與交易 …………………………………………………………………… 99

7.1 有價值的數據來源 100

7.2 數據管理平臺 102

7.2.1 三方數據劃分 102

7.2.2 第 一方數據管理平臺 102

7.2.3 第三方數據管理平臺 103

7.2.4 產品案例 104

7.3數據交易的基本過程 107

7.4隱私保護和數據安全 109

7.4.1隱私保護問題 109

7.4.2程序化交易中的數據安全 111

7.4.3歐盟的通用數據保護條例 113

 

第8章 信息流與原生廣告 115

8.1移動廣告的現狀與挑戰 116

8.1.1移動廣告的特點 117

8.1.2移動廣告的傳統創意形式 117

8.1.3移動廣告的挑戰 119

8.2信息流廣告 121

8.2.1信息流廣告的定義 121

8.2.2信息流廣告產品關鍵 123

8.3其他原生廣告相關產品 124

8.3.1搜索廣告 125

8.3.2軟文廣告 125

8.3.3 聯盟 125

8.4原生廣告平臺 126

8.4.1表現原生與場景原生 126

8.4.2場景的感知與應用 127

8.4.3植入式原生廣告 128

8.4.4產品案例 130

8.5原生廣告與程序化交易 134

第三部分 計算廣告關鍵技術

第9章 計算廣告技術概覽 137

9.1個性化系統框架 138

9.2各類廣告系統優化目標 139

9.3計算廣告系統架構 140

 

9.3.1 廣告投放引擎 ……………………………………………………………142

9.3.2 數據高速公路 ……………………………………………………………143

9.3.3 離線數據處理 ……………………………………………………………143

9.3.4 在線數據處理 ……………………………………………………………144

9.4計算廣告系統主要技術 144

9.5用開源工具搭建計算廣告系統 146

9.5.1Web服務器Nginx 146

9.5.2分佈式配置和集群管理工具ZooKeeper 148

 

9.5.3全文檢索引擎Lucene 148

9.5.4跨語言通信接口Thrift 149

9.5.5數據高速公路Flume 150

9.5.6分佈式數據處理平臺Hadoop 150

9.5.7特徵在線緩存Redis 151

9.5.8流計算平臺Storm 152

9.5.9高效的迭代計算框架Spark 152

第 10章 基礎知識準備 154

10.1信息檢索 155

10.1.1倒排索引 155

10.1.2向量空間模型 157

10.2最優化方法 158

10.2.1拉格朗日法與凸優化 159

10.2.2下降單純形法 160

10.2.3梯度下降法 160

10.2.4擬牛頓法 162

10.3統計機器學習 167

10.3.1最大熵與指數族分佈 168

10.3.2混合模型和EM算法 169

10.3.3貝葉斯學習 171

10.4統計模型分佈式優化框架 174

10.5深度學習 175

 

10.5.1 深度神經網絡優化方法 ………………………………………………176

10.5.2 捲積神經網絡（CNN） ………………………………………………177

10.5.3 遞歸神經網絡（RNN） ………………………………………………178

10.5.4 生成對抗網絡（GAN） ………………………………………………180

 

第 11章 合約廣告核心技術 181

 

11.1廣告排期系統 182

11.2擔保式投送系統 183

11.2.1流量預測 185

11.2.2頻次控制 186

11.3在線分配 188

11.3.1在線分配問題 188

11.3.2在線分配問題舉例 190

11.3.3極限性能研究 192

11.3.4實用優化算法 193

第 12章 受眾定向核心技術 201

12.1受眾定向技術分類 202

12.2上下文定向 203

12.3文本主題挖掘 205

12.3.1LSA模型 206

12.3.2PLSI模型 206

12.3.3LDA模型 207

12.3.4詞嵌入word2vec 208

12.4行為定向 209

12.4.1行為定向建模問題 210

12.4.2行為定向特徵生成 211

12.4.3行為定向決策過程 214

12.4.4行為定向的評測 215

12.5人口屬性預測 217

12.6數據管理平臺 218

第 13章 競價廣告核心技術 220

13.1競價廣告計價算法 220

13.2搜索廣告系統 222

13.2.1查詢擴展 223

13.2.2廣告放置 226

13.3廣告網絡 227

13.4廣告檢索 229

13.4.1布爾表達式的檢索 230

13.4.2相關性檢索 234

13.4.3基於DNN的語義建模 238

13.4.4最近鄰語義檢索 241

第 14章 點擊率預測模型 247

14.1點擊率預測 248

14.1.1點擊率基本模型 248

14.1.2LR模型優化算法 249

14.1.3點擊率模型的校正 256

14.1.4點擊率模型的特徵 257

14.1.5點擊率模型評測 262

14.1.6智能頻次控制 264

14.2其他點擊率模型 264

14.2.1因子分解機 264

14.2.2GBDT 265

14.2.3深度學習點擊率模型 267

14.3探索與利用 268

14.3.1強化學習與E&E 268

14.3.2UCB方法 270

14.3.3考慮上下文的 bandit 271

第 15章 程序化交易核心技術 272

15.1廣告交易平臺 273

15.1.1cookie 映射 273

15.1.2詢價優化 277

15.2需求方平臺 278

15.2.1定製化用戶標簽 280

15.2.2DSP中的點擊率預測 282

15.2.3點擊價值估計 283

15.2.4出價策略 284

15.3供給方平臺 284

第 16章 其他廣告相關技術 286

16.1創意優化 287

16.1.1程序化創意 287

16.1.2點擊熱力圖 288

16.1.3創意的發展趨勢 289

16.2實驗框架 291

16.3廣告監測與歸因 292

16.3.1廣告監測 292

16.3.2廣告安全 294

16.3.3廣告效果歸因 295

16.4作弊與反作弊 296

16.4.1作弊的方法分類 296

16.4.2常見的作弊方法 297

16.5產品技術選型實戰 301

16.5.1媒體實戰 302

16.5.2廣告主實戰 304

16.5.3數據提供方實戰 306

第四部分 附錄

附錄 主要術語及縮寫索引 311

參考文獻 317