從統計世界走向人工智能 -- 實戰案例與算法

目錄
序
前言
第1章數學→統計→人工智能1
1.1數學與統計1
1.2數據與統計1
1.2.1動態的數據1
1.2.2非結構化的數據2
1.2.3商業場景的數據初始化3
1.2. 4統計中的數據與商業中的數據3
1.3統計與人工智能3
1.3.1人工智能的開端5
1.3.2人工智能的解決方法5
1.3.3從統計建模到人工智能6
1.4人工智能與企業商業賦能的進階發展6
1.4.1階段性發展6
1.4.2更高一層發展模式7
1.5人工智能人：未來職業暢想7
1.5.1人與機器的充分融合7
1.5.2歷史上企業轉型的特徵8
1.5.3人機協作與融合8
1.5.4未來職業場景9

第2章點評數據對上市公司的影響——基於統計回歸模型11
2.1通過點評網站數據研究上市公司11
2.1.1有效市場假說11
2.1.2 Yelp數據庫介紹11
2.2點評網站數據處理12
2.2.1數據獲取12
2.2.2變量提取14
2.2.3面板數據準備16
2.3回歸模型設計18
2.3.1模型一：普通OLS 18
2.3.2模型二：引入時間趨勢項18
2.3.3模型三：固定效應模型19
2.4點評網站對公司的價值分析19
2.5延伸場景及應用22

第3章LASSO回歸及重要能源價格預測24
3.1通過多變量研究重要能源價格24
3.2回歸模型的遞進25
3.2.1從線性回歸到Ridge回歸25
3.2.2 Ridge回歸與LASSO回歸26
3.3用LASSO回歸預測重要能源價格28
3.3.1預測框架——理解行業邏輯28
3.3.2數據清洗29
3.3.3模型初試——讓模型跑起來29
3.3.4如何改進——提高預測精度31
3.4 LASSO回歸總結以及延伸應用35

第4章樸素貝葉斯方法在財務報表分析中的應用36
4.1通過三大報表推演企業未來財務36
4.2樸素貝葉斯理論介紹37
4.2.1貝葉斯理論的思想37
4.2.2樸素貝葉斯方法38
4.2.3樸素貝葉斯方法的參數估計38
4.3用樸素貝葉斯方法對企業未來財務的預測39
4.3.1分析框架39
4.3.2數據準備40
4.3.3模型測試42
4.3.4模型改進45
4.4樸素貝葉斯方法的總結以及延伸應用48

第5章MCMC方法及生物案例分析49
5.1 MCMC理論介紹49
5.1.1馬氏鏈49
5.1.2蒙特卡羅方法50
5.1. 3 MCMC方法51
5.1.4 Metropolis-Hastings算法51
5.1.5獨立鏈52
5.1.6隨機游動鏈52
5.1.7 Gibbs抽樣53
5.1.8鏈的診斷53
5.2癌細胞分裂實例介紹53
5.2.1結腸癌細胞背景介紹53
5.2.2案例分析54
5.2.3 MCMC方法總結以及延伸應用56

第6章聚類分析及銀行信用畫像58
6.1通過客戶數據分類建立銀行信貸標準58
6.2無監督學習之聚類分析59
6.2.1距離：聚類的基礎60
6.2.2 K-均值聚類61
6.2.3均值遷移聚類63
6.2.4基於密度的聚類方法65
6.2.5聚類方法的對比與評價67
6.3用聚類方法對銀行信貸質量分類68
6.3.1分析框架68
6.3.2數據準備69
6.3.3模型初試72
6.3.4模型改進76
6.4聚類分析總結以及延伸應用81

第7章基於隨機森林模型的高頻交易訂單結構分析與價格變動預測82
7.1採用隨機森林模型做高頻交易82
7.2隨機森林模型介紹83
7.2.1決策樹83
7.2.2信息熵84
7.2.3隨機森林算法85
7.2.4 OOB方法86
7.2.5參數選擇概述86
7.3高頻交易訂單結構信息挖掘87
7.3.1分析框架87
7.3.2數據清洗87
7.3.3模型初試91
7.3.4模型改進94
7.4隨機森林方法總結以及延伸應用96

第8章基於Xgboost的汽車行業供需預測97
8.1梯度提升與Xgboost 97
8.1.1 GB 97
8.1.2 GBDT 98
8.1.3 Xgboost 98
8.1.4分佈式Xgboost的設計理念99
8.2汽車行業案例100
8.2.1汽車案例的行業分析100
8.2.2數據預處理101
8.2.3 Xgboost模型訓練103
8.2.4結果展示104
8.3 Xgboost在汽車行業應用的案例評價以及延伸應用105

第9章支持向量機原理及在投資擇時中的運用106
9.1通過時機選擇研究金融市場的買賣106
9.2 SVM介紹106
9.2.1 SVM是什麼106
9.2.2線性分類器108
9.2.3核函數109
9.3在Python中使用SVM 111
9.4量化投資中的應用——使用SVM進行期貨擇時113
9.4.1技術指標擇時背景113
9.4.2 SVM股指期貨擇時策略114
9.4.3 SVM擇時策略結果分析115
9.4.4 SVM擇時策略優化改進118
9.5 SVM擇時總結以及延伸應用118

第10章基於LDA模型的電商產品評論主題分析119
10.1通過文本信息調研獲得用戶評價分析119
10.1.1文本挖掘119
10.1.2 LDA模型119
10.2調研文本的數據處理120
10.2.1數據來源120
10.2.2文本評論分詞120
10.2.3情感分析121
10.3 LDA主題模型介紹121
10.3.1模型介紹121
10.3.2模型參數估計122
10.3.3模型的評價123
10.4 LDA模型的算法124
10.5電商產品評價分析125
10.5.1結果展示125
10.5.2模型的不足和改進126
10.6 LDA模型總結以及延伸應用127

第11章LSTM神經網絡及糖尿病知識圖譜構建128
11.1基於神經網絡的糖尿病知識圖譜構建128
11.1.1自然語言處理128
11.1.2實體識別128
11.1.3糖尿病文本數據集介紹129
11.2 BiLSTMCRF算法理論介紹129
11.2.1 RNN 129
11.2.2 LSTM 131
11.2.3 BiLSTM 133
11.2.4 CRF 134
11.3 BiLSTMCRF模型評價134
11.3.1獲得上下文信息134
11.3 .2考慮到輸出規則134
11.4糖尿病知識圖譜構建過程135
11.4.1 BiLSTMCRF模型框架分析135
11.4.2數據處理136
11.4.3模型初試141
11.4.4 BiLSTMCRF模型改進144

第12章卷積神經網絡在人臉識別中的應用145
12.1人臉識別技術的**發展145
12.2基於卷積神經網絡的MINST手寫數字識別145
12.2.1卷積神經網絡145
12.2.2 MINST手寫數字識別146
12.2.3卷積層146
12.2.4池化層147
12.2.5全連接層147
12.2.6代碼：MINST手寫數字識別的Keras實現147
12.2.7數據預處理148
12.2.8模型定義149
12.2.9模型訓練150
12.2.10效果評估150
12.2.11模型預測150
12.2.12總結150
12.3通過FaceNet網絡結構實現人臉識別151
12.3.1 FaceNet網絡結構151
12.3.2人臉識別的案例介紹152
12.3.3案例準備152
12.3.4人臉檢測152
12.3.5人臉識別154
12.4卷積神經網絡總結和延伸應用155
參考文獻156