機器學習的數學：用數學引領你走進AI的神秘世界

孫博
2005年畢業於吉林大學計算機專業，蘇州工業園區第六屆高技能領軍人才，機器學習愛好者，擅長軟體演算法和軟體結構設計。曾就職於沈陽東軟軟體股份有限公司，期間參與了國家金財工程和金質工程的建設。之後就職於蘇州快維科技，擔任產品部主管，主持並設計了移動化整合供應鏈開發平台，致力於打造業務導向的開發模式，平台2012 投入商用後獲得江蘇省創新團隊獎；現任我要實習網CTO，主持校企合作招聘平台的建設，平台中有多項創新成果已申報專利。

第 1 章 向量和它的朋友們
1.1 向量家族的基本成員
1.1.1 向量的表示和模長
1.1.2 維度和分量
1.1.3 單位向量和零向量
1.2 向量的加減和數乘
1.2.1 加法
1.2.2 數乘
1.2.3 減法
1.2.4 向量與聯立方程式
1.2.5 相關程式碼
1.3 向量的點積
1.3.1 什麼是點積
1.3.2 餘弦定理
1.3.3 相關程式碼
1.4 點積的作用
1.4.1 計算向量間的夾角
1.4.2 判斷向量的方向
1.4.3 判斷正交性
1.4.4 求向量的分量
1.5 向量的叉積
1.5.1 什麼是叉積
1.5.2 叉積的幾何意義
1.5.3 相關程式碼
1.6 叉積的作用
1.6.1 計算平行六面體的體積
1.6.2 判斷點是否共面
1.6.3 計算法向量
1.7 再看行列式
1.7.1 行列式的性質
1.7.2 行列式的意義
1.7.3 行列式的計算
1.7.4 行列式的公式
1.7.5 相關程式碼
1.8 代數餘子式
1.8.1 行列式的代數餘子式展開
1.8.2 二階行列式的代數餘子式
1.9 還有其他朋友嗎
1.10 總結

第 2 章 矩陣的威力
2.1 什麼是矩陣
2.2 矩陣的儲存和解析功能
2.3 矩陣的運算
2.3.1 加法
2.3.2 數乘
2.3.3 乘法
2.3.4 轉置
2.3.5 相關程式碼
2.4 特殊的矩陣
2.4.1 對稱矩陣
2.4.2 單位矩陣
2.4.3 逆矩陣
2.4.4 奇異矩陣
2.4.5 相關程式碼
2.5 矩陣與線性聯立方程式
2.5.1 產品與原料的問題
2.5.2 消去法
2.5.3 矩陣向量法
2.5.4 無解的聯立方程式
2.6 再看矩陣與聯立方程式
2.6.1 矩陣的初等變換
2.6.2 列階梯矩陣
2.6.3 矩陣的秩
2.6.4 滿秩矩陣
2.6.5 線性組合
2.6.6 線性相關
2.7 求解逆矩陣
2.7.1 聯立方程式法
2.7.2 高斯—喬登消去法
2.8 消去矩陣與置換矩陣
2.8.1 消去矩陣
2.8.2 置換矩陣
2.8.3 求逆矩陣的新方法
2.9 矩陣的 𝑳𝑼 分解
2.9.1 𝑳𝑼 分解的步驟
2.9.2 𝑳𝑼 分解的前提
2.9.3 𝑳𝑼 分解的意義
2.9.4 允許列交換
2.10 總結

第 3 章 距離
3.1 距離的多種度量
3.1.1 一維空間的距離
3.1.2 歐幾里得距離
3.1.3 曼哈頓距離
3.1.4 切比雪夫距離
3.1.5 夾角餘弦
3.1.6 其他度量方法
3.2 人心的距離
3.2.1 相親
3.2.2 資料預處理
3.2.3 度量距離
3.3 人心可測嗎
3.4 總結

第 4 章 導數
4.1 導數的基本概念
4.1.1 導數的意義
4.1.2 導數的標記
4.1.3 根據定義計算導數
4.1.4 函數可導的條件
4.2 求導
4.2.1 常用的求導公式
4.2.2 和、差、積、商求導法則
4.2.3 連鎖律求導法則
4.2.4 隱函數微分法
4.2.5 反函數求導
4.2.6 指數函數的導數
4.2.7 對數函數的導數
4.2.8 對數微分法
4.3 高階導數
4.4 相關程式碼
4.5 總結

第 5 章 微分與積分
5.1 微分
5.2 微分的應用
5.2.1 汽車測速
5.2.2 水平面上升速度
5.2.3 懸掛模型
5.3 不定積分
5.3.1 什麼是不定積分
5.3.2 不定積分的唯一性
5.4 求解不定積分
5.4.1 變數代換法
5.4.2 猜想法
5.4.3 積分表
5.5 定積分
5.5.1 定積分的意義
5.5.2 定積分是怎麼來的
5.5.3 定積分第一基本定理
5.5.4 定積分第二基本定理
5.5.5 超越函數
5.5.6 定積分的奇偶性
5.6 求解積分的高階套路
5.6.1 三角代換1（sin 和cos）
5.6.2 三角代換2（tan 和sec）
5.6.3 三角代換3（反向代換）
5.6.4 三角代換4（配方）
5.6.5 分部積分
5.6.6 WIFI 的密碼
5.7 積分的應用
5.7.1 計算面積
5.7.2 計算體積
5.7.3 計算機率
5.8 不可積的積分
5.9 相關程式碼
5.10 總結

第 6 章 弧長與曲面
6.1 弧長
6.1.1 弧長公式
6.1.2 線性函數的弧長
6.1.3 單位圓的弧長
6.1.4 拋物線的弧長
6.2 曲面面積
6.2.1 喇叭口的表面積
6.2.2 球面面積
6.3 總結

第 7 章 偏導
7.1 空間函數
7.1.1 曲面
7.1.2 等高線
7.2 什麼是偏導
7.3 偏導數的意義
7.4 偏導的計算
7.5 二階偏導和混合偏導
7.6 多元函數的偏導
7.7 相關程式碼
7.8 總結

第 8 章 多重積分
8.1 二重積分的意義
8.2 為什麼能計算體積
8.3 計算二重積分
8.3.1 計算方法的來源
8.3.2 計算的一般過程
8.3.3 積分的邊界
8.3.4 改變積分順序
8.4 二重積分的應用
8.4.1 計算面積
8.4.2 計算平均值
8.5 三重積分
8.5.1 計算三重積分
8.5.2 曲面的體積
8.6 相關程式碼
8.7 作業的答案
8.8 總結

第 9 章 參數方程式
9.1 橢圓的周長
9.2 何謂參數方程式
9.3 直線
9.3.1 參數方程式的表達
9.3.2 參數方程的幾何解釋
9.3.3 直線與平面的關係
9.4 擺線
9.4.1 擺線的參數方程式
9.4.2 擺線的斜率
9.5 總結

第 10 章 超越直角座標系
10.1 極座標系
10.1.1 極座標表示法
10.1.2 極座標系的應用
10.2 柱座標系
10.2.1 什麼是柱座標系
10.2.2 簡化三重積分
10.2.3 柱座標系的應用
10.3 球座標系
10.3.1 什麼是球座標系
10.3.2 球座標系的積分
10.3.3 球座標系的應用
10.4 總結

第 11 章 梯度下降
11.1 梯度
11.1.1 梯度的定義
11.1.2 梯度垂直於等值面
11.1.3 垂直的原因
11.1.4 找出切平面
11.2 方向導數
11.2.1 方向導數的幾何意義
11.2.2 計算方向導數
11.3 梯度的意義
11.4 梯度下降演算法
11.4.1 梯度下降的原理
11.4.2 學習係數
11.4.3 批次梯度下降
11.4.4 隨機梯度下降
11.4.5 小批次梯度下降
11.5 超越梯度下降
11.6 總結

第 12 章 誤差與近似
12.1 誤差
12.1.1 誤差的成因
12.1.2 誤差界限
12.1.3 減少誤差的方法
12.2 近似
12.2.1 線性近似
12.2.2 二階近似
12.2.3 微分法
12.3 泰勒公式
12.3.1 泰勒級數
12.3.2 泰勒公式的應用
12.3.3 泰勒展開
12.3.4 化質為量
12.3.5 多元函數的泰勒展開
12.4 物理單位引發的問題
12.5 總結

第 13 章 牛頓法
13.1 牛頓法的一般過程
13.2 code review 的答案
13.3 牛頓法的注意事項
13.4 從泰勒公式看牛頓法
13.5 解方程式
13.6 開立方根
13.7 向牛頓致敬
13.8 總結

第 14 章 無解之解
14.1 無解的方程式
14.2 約等聯立方程式
14.3 最小誤差
14.4 最小平方法
14.4.1 微積分解釋
14.4.2 線性代數解釋
14.4.3 資料擬合
14.5 離群資料
14.6 總結

第 15 章 極大與極小
15.1 極值
15.2 臨界點和鞍點
15.2.1 臨界點
15.2.2 鞍點
15.3 一元函數的極值類型
15.4 多元函數的極值類型
15.4.1 海森矩陣
15.4.2 極大值還是極小值
15.5 極值的應用
15.5.1 繩子的問題
15.5.2 最省料的木箱
15.5.3 最快入口
15.6 總結

第 16 章 尋找最佳解
16.1 受制於人
16.2 拉格朗日乘子法
16.2.1 求解過程
16.2.2 最大還是最小
16.2.3 最省料的木箱
16.2.4 周長最長的內接矩形
16.2.5 表面積最小的金字塔
16.3 多個約束條件
16.3.1 一般過程
16.3.2 曲面的極值
16.4 不等約束
16.4.1 最佳化問題的幾何解釋
16.4.2 KKT 條件
16.4.3 regularity 條件
16.4.4 不等約束下的極值
16.5 相關程式碼
16.6 總結

第 17 章 最佳形態
17.1 函數和泛函數
17.2 U 型池的模型
17.3 歐拉—拉格朗日方程式
17.4 U 型池的解
17.5 兩點間的最短距離
17.6 泛函數的拉格朗日乘子法
17.7 狄多公主的土地
17.8 總結

第 18 章 硬幣與骰子
18.1 機率能做什麼
18.2 基本概念
18.2.1 隨機試驗
18.2.2 事件
18.2.3 樣本空間
18.3 古典概型
18.3.1 典型問題
18.3.2 古典概型的變形
18.4 幾何概型
18.4.1 定義與公式
18.4.2 相遇的機率
18.4.3 幾何概型的變形
18.4.4 路燈的間隔
18.5 機率的基本公式
18.6 互斥事件
18.6.1 互斥事件公式
18.6.2 正面朝上的硬幣
18.7 獨立事件
18.7.1 獨立事件公式
18.7.2 大老闆來訪的規律
18.7.3 關於抽獎
18.7.4 矇對答案的機率
18.7.5 十賭九輸
18.8 垂簾聽政
18.8.1 垂簾聽政的公式
18.8.2 行政部的預測
18.9 先下手為強
18.10 總結


第 19 章 機率分佈
19.1 從事件到函數
19.2 分佈函數
19.3 離散型分佈
19.3.1 整數和自然數哪個更多
19.3.2 離散型分佈函數
19.3.3 射箭比賽
19.4 連續型分佈
19.4.1 關於時間的悖論
19.4.2 連續型分佈函數
19.5 關於常態分佈
19.6 總結