人工智能數學基礎

陳華，博士、碩士生導師、青島市西海岸大數據智庫專家、全國高校人工智能與大數據創新聯盟理事、山東省大數據研究會大數據專業建設教學委員會副主任委員；現任中國石油大學（華東）數據科學與統計系主任、數據科學與大數據技術專業負責人；目前主要從事地球物理數據處理與分析、多核計算、智能算法等方面的教學和科研工作；先後主持和參與國家自然科學基金、山東省自然科學基金等縱向課題8項和其他橫向課題10餘項，在國內外期刊發表教學和科研論文30餘篇，獲得軟件著作權4項，出版教材部。

第1章人工智能與數學1
1．1微積分1
1．2線性代數2
1．2．1向量和矩陣3
1．2．2範數和內積3
1．2．3線性變換4
1．2．4特徵值和特徵向量4
1．2．5奇異值分解（SVD）5
1．3概率論6
1．4數理統計6
1．5 2優化理論7
1．5．1目標函數7
1．5．2線性規劃7
1．5．3梯度下降法7
習題8
參考文獻8

第2章初等數學9
2．1函數9
2．1．1函數的概念9
2．1．2函數的性質10
2．1．3特殊函數11
2．1．4複合函數和逆函數13
2．1．5綜合案例及應用14
2．2數列16
2．2．1數列的概念17
2．2．2數列的分類17
2．2．3綜合案例及應用18
2．3排列組合和二項式定理18
2．3．1排列19
2．3．2組合19
2．3．3二項式定理20
2．3．4綜合案例及應用21
2．4集合[1]22
2．4．1集合的相關概念22
2．4．2集合關係23
2．4．3基數24
2．4．4集合運算25
2．4．5綜合案例及應用26
2．5實驗：基於函數遞歸過程的功能實現28
2．5．1實驗目的28
2．5．2實驗要求28
2．5．3實驗原理28
2．5．4實驗步驟28
2．5．5實驗結果29
習題29
參考文獻30

第3章微積分初步31
3．1極限與連續性31
3．1．1極限31
3．1．2連續性33
3．2導數與微分34
3．2．1導數34
3．2．2偏導數39
3．2．3梯度和方嚮導數40
3．3導數在函數性質中的應用41
3．3．1單調性42
3．3．2凹凸性43
3．3．3極值45
3．4一元積分學46
3．4．1不定積分46
3．4．2微分方程47
3．4．3定積分47
3．5多元積分學48
3．5．1二重積分的概念49
3．5．2二重積分的計算49
3．6實驗：梯度下降法[8-9]52
3．6．1實驗目的52
3．6．2實驗要求52
3．6．3實驗原理52
3．6．4實驗步驟53
3．6．5實驗結果55
習題55
參考文獻56

第4章線性代數58
4．1行列式58
4．1 ．1行列式定義58
4．1．2行列式的性質60
4．1．3行列式的計算62
4．2矩陣63
4．2．1矩陣的概念63
4．2．2矩陣的運算65
4．2．3矩陣的初等變換67
4．2．4矩陣的秩69
4．3向量69
4．3．1 n維向量的定義69
4．3．2 n維向量間的線性關係71
4．3．3向量組的秩72
4．3．4梯度、海森矩陣與雅可比矩陣73
4．4線性方程組74
4．4．1齊次線性方程組解的結構74
4．4．2非齊次線性方程組解的結構75
4．5二次型76
4．5．1特徵值與特徵向量76
4．5．2相似矩陣78
4．5．3二次型79
4．5．4正定二次型82
4．6實驗：矩陣運算83
4．6．1實驗目的83
4．6．2實驗要求83
4．6．3實驗原理、步驟及結果84
習題87
參考文獻88

第5章概率論89
5．1概述89
5．1．1概率論發展簡史89
5．1．2概率論的主要內容90
5．2隨機事件及其概率90
5．2．1隨機事件的運算92
5．2．2隨機事件的概率93
5．2．3條件概率95
5．3隨機變量97
5．3．1隨機變量的概率分佈97
5．3．2隨機變量的數字特徵102
5．3．3常見的概率分佈104
5．4貝葉斯理論105
5．4．1貝葉斯公式的推導105
5．4．2貝葉斯公式的應用舉例107
5．4．3貝葉斯理論的前景109
5．5極限理論110
5．5．1收斂110
5．5．2大數定理110
5．5．3中心極限定理111
5．6基於Python的泊松分佈仿真實驗113
5．6．1實驗目的113
5．6．2實驗要求113
5．6．3實驗原理113
5．6．4實驗步驟113
5．6．5實驗結果114
習題115
參考文獻116

第6章數理統計117
6．1概述117
6．1．1數理統計發展簡史117
6．1．2數理統計的主要內容118
6．2總體與樣本118
6．2．1總體與樣本簡介118
6．2．2數據的特徵118
6．2．3統計量122
6．3參數估計122
6．3．1 2大似然估計122
6．3．2貝葉斯估計124
6．3．3點估計與矩估計124
6．3．4蒙特卡羅方法的基本原理125
6．4假設檢驗125
6．4．1基本概念125
6．4．2 Neyman-Pearson基本引理127
6．4．3參數假設檢驗130
6．4．4檢驗131
6．5回歸分析132
6．5．1一元線性回歸132
6．5．2可化為一元線性回歸的非線性回歸135
6．5．3多元線性回歸136
6．6實驗：基於Python實現用蒙特卡羅方法求圓周率π137
6．6．1實驗目的137
6．6．2實驗要求137
6．6．3實驗原理137
6．6．4實驗步驟138
6．6．5實驗結果139
習題139
參考文獻140

第7章函數逼近141
7．1函數插值141
7．1．1線性函數插值141
7．1．2多項式插值143
7．1．3樣條插值144
7．1．4徑向基函數插值146
7．2曲線擬合148
7．2．1線性2小二乘法148
7．2．2非線性曲線擬合150
7．2．3貝塞爾曲線擬合152
7．3 2佳逼近153
7．3．1函數空間範數與2佳逼近問題153
7．3．2 2佳一致逼近155
7．3．3 2佳平方逼近157
7．4核函數逼近159
7．4．1核方法原理159
7．4．2常見核函數160
7．4．3支持向量機及其在函數逼近中的應用160
7．5神經網絡逼近163
7．5．1神經網絡函數逼近定理163
7．5．2 BP神經網絡在函數逼近中的應用164
7．5．3 RBF神經網絡在函數逼近中的應用167
7．6實驗：黃河小浪底調水調沙問題170
7．6．1實驗目的170
7．6 ．2實驗要求170
7．6．3實驗原理171
7．6．4實驗步驟及結果171
習題173
參考文獻174

第8章2優化理論176
8．1 2優化理論的基礎知識176
8．1．1 2優化示例176
8．1．2 2優化的基本概念177
8．1．3求2優化問題的一般過程180
8．1．4 2優化問題的幾何解釋180
8．1．5 2優化問題的基本解法182
8．2線性規劃183
8．2．1線性規劃問題及其數學模型183
8．2．2線性規劃問題的幾何意義189
8．2．3單純形法190
8．3非線性規劃193
8．3．1非線性規劃的基本概念193
8．3．2無約束條件下的單變量函數2優化方法194
8．3．3無約束條件下的多變量函數2優化方法198
8．4實驗：用梯度下降法求Rosenbrock函數的極值208
8．4 ．1實驗目的208
8．4．2實驗要求208
8．4．3實驗原理208
8．4．4實驗步驟208
8．4．5實驗結果211
習題211
參考文獻212

第9章信息論213
9．1概述213
9．1．1信息論的形成和發展213
9．1．2信息論對人工智能的影響214
9．1．3信息的基本概念214
9．1．4通信系統模型215
9．2信息的度量216
9．2．1自信息量217
9．2．2條件自信息量219
9．2．3聯合自信息量221
9．2．4互信息量與條件互信息量221
9．2．5互信息量的性質222
9．3信源與信息熵222
9．3．1平均自信息量（熵）223
9．3．2平均條件自信息量（條件熵）225
9．3．3聯合熵226
9．3．4相對熵227
9．3．5熵函數的性質228
9．3．6平均互信息量229
9．3．7平均互信息量的性質229
9．3．8平均互信息量與熵、條件熵的關係[12]229
9．3．9關於平均互信息量的兩條定理230
9．3．10熵在決策樹中的應用231
9．4信道與信道容量231
9．4．1信道的分類232
9．4．2離散無記憶信道容量234
9．4．3連續信道容量237
9．5信道編碼238
9．5．1信道編碼的基本概念238
9．5．2信道譯碼規則239
9．5．3信道編碼定理242
9．5．4信道編碼逆定理242
9．6網絡信息安全及密碼242
9．6．1網絡信息安全概述243
9．6．2密碼技術243
9．6．3密碼技術在信息安全中的應用245
9．7實驗一：繪製二進制熵函數曲線246
9．7．1實驗目的246
9．7．2實驗要求246
9．7．3實驗原理246
9．7．4實驗步驟247
9．7．5實驗結果249
9．8實驗二：信息增益的計算250
9．8．1實驗目的250
9．8．2實驗要求251
9．8．3實驗原理251
9．8．4實驗步驟251
9．8．5實驗結果254
習題255
參考文獻256

第10章圖論258
10．1圖的認識258
10．1．1圖的基本概念258
10．1．2圖中結點的度數260
10．1．3常見的圖260
10．1．4子圖261
10．1．5圖的同構261
10．2路與迴路262
10．2．1路和迴路262
10．2．2連通性262
10．2．3 2短路徑264
10．2．4關鍵路徑264
10．2．5綜合案例及應用266
10．3圖的矩陣表示268
10．3．1鄰接矩陣表示268
10．3．2關聯矩陣表示269
10．3．3綜合案例及應用270
10．4歐拉圖與哈密頓圖271
10．4．1歐拉圖271
10．4．2哈密頓圖273
10．4．3綜合案例及應用274
10．5樹275
10．5．1樹的概念275
10．5．2生成樹276
10．5．3二叉樹277
10．5．4綜合案例及應用280
10．6實驗：2優樹理論和應用281
10．6．1實驗目的281
10．6．2實驗要求281
10．6．3實驗原理281
10．6．4實驗步驟282
10．6．5實驗結果283
習題284
參考文獻285

附錄A人工智能實驗環境286
附錄B人工智能雲平台292