人工智能基礎 : 數學知識

張曉明

網名大聖。
國內早期的競價搜索工程師，曾就職雅虎、阿里、移動等大型互聯網公司，
擔任過數據專家、技術總監等職務，服務過廣告、電商、移動運營商、
互聯網金融等多行業，有15年以上的數據挖掘、機器學習一線工程經驗。
現為自由職業者、獨立諮詢顧問、獨立講師。  
 

目錄：  
第一篇線性代數  
第1章論線性代數的重要性…………………………………………………………… 2  
1.1小白的苦惱…………… …………………………………………………………… 2  
1.2找朋友…………………………………………………………… ………………… 4  
1.3找推薦……………………………………………………………………………… 7  
1.4賺大錢………………………………… ……………………………………………10 
 
第2章從相似到向量………………………………………………………………… … 12  
2.1問題：如何比較相似………………………………………………………………12  
2.2代碼示例…………………………………… ………………………………………12  
2.3專家解讀……………………………………………………………………………17 
 
第3章向量和向量運算………………………………………………………………… 20  
3.1代碼示例：在Python中使用向量……………………… ………………………20  
3.1.1創建向量…………………………………………………………………………… 20  
3.1.2向量的範數（模長） ………… …………………………………………………… 21  
3.1.3向量的相等…………………………………………………………… …………… 21  
3.1.4向量加法（減法） ………………………………………………………………… 22  
3.1.5向量的數乘……… ………………………………………………………………… 23  
3.1.6向量的線性組合…………………………………………… ……………………… 24  
3.1.7向量的乘法（點積） ……………………………………………………………… 25  
3.2專家解讀……………………………… ……………………………………………26  

第4章*難的事情——向量化……………………………………………………… … 27  
4.1問題：如何對文本向量化…………………………………………………………28  
4.2 One-Hot Encoding方式…………………………… ……………………………29  
4.2.1做法1：二值化…………………………………………………………………… 31  
4.2. 2做法2：詞頻法…………………………………………………………………… 32  
4.2.3做法3：TF-IDF …………………… ……………………………………………… 33  
4.3專家解讀………………………………………………………………………… …34  
4.3.1稀疏向量和稠密向量……………… …………………………………………… 34  
4.3.2 One-Hot到Word2Vec …………………………………………………………… 35 
 
第5章從線性方程組到矩陣…………………………………………………………… 38  
5.1回歸預測…………………………………… ………………………………………39  
5.2從方程組到矩陣……………………………………………………………………41  
5.3工程中的方程組……………………………………………………………………42  

第6章空間、子空間、方程組的解…………… ……………………………………… 44  
6.1空間和子空間………………………………………………………………………45  
6.2子空間有什麼用……………………………………………………………………46  
6.3所謂*優解指什麼……………………………… …………………………………48  

第7章矩陣和矩陣運算………………………………………………………………… 50  
7.1認識矩陣……………………………………………………………………………50  
7.2創建矩陣…………………………………………… ………………………………51  
7.2.1代碼示例：如何創建矩陣………………………………………………………… 51  
7.2.2代碼示例：如何創建對角矩 …………………………………………………… 52  
7.2.3代碼示例：如何創建單位矩陣………………………………………………… 53  
7.2.4代碼示例：如何創建對稱矩陣…………………………………………………… 54  
7.3矩陣運算……………………………………… ……………………………………55  
7.3.1代碼示例：加法和數乘…………………………………………………………… 55  
7.3.2代碼示例：矩陣乘法……………………………………………………………… 56  
7.3.3代碼示例：求逆矩陣…………………… ………………………………………… 57  

第8章解方程組和*小二乘解……………………………………………………… … 58  
8.1代碼實戰：解線性方程組…………………………………………………………58  
8.2代碼實戰：用*小二乘法解方程組…………… …………………………………59  
8.3專家解讀：*小二乘解……………………………………………………………61  
8.3.1損失函數…………………………………………………………………………… 61  
8.3.2 *小二乘解………………………… ……………………………………………… 63  

第9章帶有正則項的*小二乘解……………………………………………… ……… 65  
9.1代碼實戰：多項式回歸…… ……………………………………………………66  
9.2代碼實戰：嶺回歸…………………………………………………………… ……69  
9.3代碼實戰：Lasso回歸……………………………………………………………71  

第10章矩陣分解的用途………………………… …………………………………… 74  
10.1問題1：消除數據間的信息冗餘…………………………………………………74  
10.2問題2：模型複雜度………………………………………………………………78  
10.3代碼實戰：PCA降維…………………………… ………………………………79  
10.4專家解讀…………………………………………………………………………82  
10.5從PCA到SVD ……………………………………………………………………84  

第11章降維技術哪家強…………………………………… ………………………… 86  
11.1問題：高維數據可視化…………………………………………………………86  
11.2代碼實戰：多種數據降維………………………………………………………89  
11.3專家解讀：從線性降維到流形學習………………………………………… …92  

第12章矩陣分解和隱因子模型……………………………………………………… 94  
12.1矩陣分解和隱因子模型概述…………………… ……………………………94  
12.2代碼實戰： SVD和文檔主題………………………………………………………96  
12.3小結……………… …………………………………………………………… 100 
 
*二篇概率  
第13章概率建模………………………………………… …………………………… 102  
13.1概率…………………………………………………………………………… 102  
13.2隨機變量和分佈……………………………………………………………… 103  
13.2.1 0-1分佈（伯努利分佈）………………… ……………………………………… 104  
13.2.2二項分佈………………………………………………………………………… 104  
13.2.3多項分佈………………………………………………………………………… 105  
13.2.4正態分佈…………………… …………………………………………………… 107  
13.3代碼實戰：檢查數據是否服從正態分佈…………………………………… 108  
13.4專家解讀：為什麼正態分佈這麼厲害……………………………………… 111  
13.5小結………………………………………………………………… ………… 111  

第14章*大似然估計………………………………………………………………… 112  
14.1 *大似然原理…………… …………… …………………………………… 112  
14.2代碼實戰：*大似然舉例…………………………………………………… 113  
14.3專家解讀：*大似然和正態分佈…………………………………………… 115  
14.4 *大似然和回歸建模………………………………………… ……………… 117  
14.5小結…………………………………………………………………………… 118 
 
第15章貝葉斯建模…………………………………………………………………… 119  
15.1什麼是隨機向量………………………… …………………………………… 119  
15.2隨機向量的分佈……………………………………………………………… 120  
15.3獨立VS不獨立………………………………………………………………… 123  
15.4貝葉斯公式………………………………………………… ………………… 123  
15.5小結…………………………………………………………………………… 124  

第16章樸素貝葉斯及其拓展應用…………………………………………………… 125  
16.1代碼實戰：情感分析………………………………………………………… 125  
16.2專家解讀……………………………………………………………………… 128  
16.3代碼實戰：優選健身計劃……………………… ………………………… 130  
16.4小結…………………………………………………………………………… 136 
 
第17章進一步體會貝葉斯…………………………………………………………… 137  
17.1案例：這個機器壞了嗎…………………………………………… ………… 137  
17.2專家解讀：從貝葉斯到在線學習…………………………………………… 141
  
第18章採樣…………………………………………………………………………… 142  
18.1貝葉斯模型的困難……………………… …………………………………… 143  
18.2代碼實戰：拒絕採樣………………………………………………………… 144  
18.3代碼實戰： ＭＨ採樣…………………………………………………………… 147  
18.4專家解讀：拒絕採樣算法………………………………………………… … 150  
18.4.1 MH算法………………………………………………………………………… 151  
18.4.2馬爾科夫鍊和細緻平穩條件……… …………………………………………… 152  
18.4.3細緻平穩條件和接受率的關係………………………………………………… 153  
18.5專家解讀：從MH到Gibbs ………………………………………………… 154  
18.6小結………………………………………… ………………………………… 155
  
第三篇優化  
第19章梯度下降算法………………………………………………………………… 158  
19.1代碼實戰：梯度下降算法…………………………………………………… 159  
19.2專家解讀：梯度下降算法……………………………………… …………… 162  
19.3代碼實戰：隨機梯度下降算法……………………………………………… 167  
19.4專家解讀：隨機梯度下降算法……………………………………………… 168  
19.5小結……………………………………………………… …………………… 169 
 
第20章邏輯回歸……………………………………………………………………… 171  
20.1代碼實戰：邏輯回歸…… …………………………………………………… 173  
20.2專家解讀：邏輯回歸的原理………………………………………………… 174  
20.3代碼實戰：邏輯回歸梯度下降算法………………………………………… 177  

第21章凸優化…………………………………………………… …………………… 179  
21.1凸優化掃盲…………………………………………………………………… 181  
21.2正則化和凸優化………… …………………………………………………… 182  
21.3小結……………………………………………… ………………………… 183  
附錄A工作環境搭建說明……………………………………………………………… 184  
A.1什麼是Python …… ……………………………………………………………… 184  
A.2本書所需的工作環境……………………………………… …………………… 187  
A.2.1 Anaconda版本選擇…………………………………………………………… 187  
A.2.2多版本共存的Anaconda安裝方式…………………………………………… 188  
A.2.3安裝Anaconda主版本（Anaconda 2） …………………………… ………… 188  
A.2.4安裝Anaconda輔版本（Anaconda 3） ……………………………………… 190  
A.2.5開發工具的選擇…………………………… …………………………………… 190  
結語………………………………………………………………………………………… …193