Python科學與工程數據分析實戰

目錄

下載源碼

第1章掀開Python面紗1

1.1Python環境搭建1

1.1.1Python的安裝1

1.1.2pip安裝第三方庫2

1.1.3編輯器Jupyter Notebook3

1.2尋求幫助4

1.3基本命令5

1.3.1數字5

1.3.2變量7

1.3.3運算符9

1.4數據類型15

1.5字符串操作16

1.6元素的集合17

1.6.1列表17

1.6.2元組21

1.6.3字典24

1.6.4集合31

第2章科學計算庫34

2.1必需庫的安裝34

2.2NumPy概述35

2.3NumPy的數據類型35

2.4NumPy數組36

2.4.1NumPy數組的創建37

2.4.2NumPy切片39

2.4.3NumPy索引40

2.4.4NumPy迭代42

2.4.5NumPy數組操作45

2.4.6NumPy算術函數58

2.5NumPy統計函數60

2.6NumPy排序63

2.7NumPy線性代數66

2.7.1矩陣和向量積66

2.7.2行列式68

2.7.3求解線性方程68

2.7.4矩陣特徵值和特徵向量69

2.8矩陣分解70

2.8.1Cholesky分解70

2.8.2QR分解72

2.8.3SVD(奇異值)分解73

2.9範數和秩75

2.9.1矩陣的範數75

2.9.2矩陣的秩76

第3章開源科學集78

3.1SciPy常量模塊78

3.1.1常量78

3.1.2單位類型78

3.2SciPy優化器81

3.3SciPy稀疏矩陣82

3.3.1coo_matrix存儲方式82

3.3.2csr_matrix存儲方式83

3.3.3csc_matrix存儲方式83

3.3.4lil_matrix存儲方式84

3.3.5dok_matrix存儲方式85

3.3.6dia_matrix存儲方式86

3.3.7bsr_matrix存儲方式87

3.4SciPy圖結構87

3.4.1鄰接矩陣87

3.4.2連接組件88

3.4.3Dijkstra最短路徑89

3.4.4Floyd Warshall算法91

3.4.5BellmanFord算法92

3.5SciPy空間數據96

3.5.1三角測量96

3.5.2凸包97

3.5.3KD樹98

3.5.4距離矩陣100

3.6SciPy插值103

3.6.1一維插值104

3.6.2二維插值105

3.6.3樣條插值106

3.7SciPy顯著性檢驗108

3.7.1統計假設109

3.7.2t檢驗110

3.7.3KS檢驗113

3.8邊緣檢測113

第4章數據分析利器115

4.1Pandas數據結構117

4.1.1系列117

4.1.2數據結構120

4.1.3面板126

4.2統計性描述128

4.3Pandas重建索引132

4.4Pandas迭代與排序135

4.4.1Pandas迭代135

4.4.2Pandas排序137

4.5Pandas統計函數140

4.6Pandas分組與聚合142

4.7數據缺失144

4.7.1數據缺失的原因145

4.7.2檢查缺失值145

4.7.3缺失值的計算146

4.7.4清理/填充缺失數據146

4.7.5丟失缺失的值147

4.7.6替換丟失/通用值148

4.8Pandas連接148

4.9Pandas CSV文件151

4.10Pandas的JSON文件154

第5章數據分析的可視化156

5.1初識Matplotlib156

5.2基本二維繪圖158

5.2.1折線圖158

5.2.2散點圖160

5.2.3條形圖163

5.2.4餅圖165

5.2.5箱線圖167

5.2.6等高線圖169

5.3三維繪圖172

5.3.1三維坐標軸172

5.3.2三維點和線172

5.3.3三維等高線圖173

5.3.4錶面三角測量174

5.3.5非結構化圖像175

5.3.6三維體元素177

5.4小提琴圖178

第6章基於回歸的數據分析180

6.1簡單線性回歸180

6.1.1線性回歸概述181

6.1.2簡單線性回歸的實現183

6.2多元回歸186

6.2.1多項式回歸概述186

6.2.2多項式回歸的實現187

6.3廣義線性回歸190

6.3.1函數模型190

6.3.2邊界決策函數190

6.3.3廣義回歸的實現192

6.4嶺回歸195

6.5套索回歸196

6.5.1全子集算法197

6.5.2貪心算法197

6.5.3正則化198

6.6非線性回歸200

6.6.1K最近鄰回歸200

6.6.2核回歸202

第7章基於分類的數據分析204

7.1KNN分類器204

7.2線性分類器206

7.3邏輯分類210

7.3.1邏輯回歸概述210

7.3.2邏輯回歸原理211

7.3.3邏輯分類的實現211

7.4貝葉斯分類215

7.4.1貝葉斯分類相關知識215

7.4.2貝葉斯原理216

7.4.3貝葉斯分類的實現217

7.5決策樹219

7.5.1決策樹概述220

7.5.2樹的相關術語220

7.5.3決策樹算法221

7.5.4信息熵222

7.5.5信息增益223

7.5.6信息增益率223

7.5.7決策樹的應用224

7.6隨機森林226

7.6.1隨機森林概述226

7.6.2特徵重要評估227

7.6.3隨機森林的實現228

第8章基於聚類的數據分析232

8.1聚類的分類232

8.2kmeans聚類234

8.2.1kmeans聚類的基本原理234

8.2.2算法流程234

8.2.3隨機分配聚類質心235

8.2.4kmeans算法的優缺點237

8.2.5kmeans算法的變體238

8.3Mean Shift聚類250

8.3.1Mean Shift算法介紹250

8.3.2Mean Shift算法的思想252

8.3.3概率密度梯度255

8.3.4Mean Shift向量的修正255

8.3.5Mean Shift算法流程256

8.4譜聚類261

8.4.1譜聚類的原理261

8.4.2譜聚類算法描述261

8.4.3譜聚類算法中的重要屬性262

8.4.4譜聚類的實現267

8.5層次聚類算法270

8.5.1自頂向下的層次聚類算法271

8.5.2自底向上的層次聚類算法272

8.5.3簇間相似度的計算方法272

8.5.4層次聚類算法的實現274

8.6密度聚類276

8.6.1密度聚類的原理276

8.6.2DBSCAN密度定義277

8.6.3DBSCAN密度聚類的思想277

8.6.4DBSCAN聚類算法278

8.6.5DBSCAN聚類的實現279

第9章數據特徵分析281

9.1數據表達281

9.1.1啞變量轉換類型特徵281

9.1.2數據的裝箱處理283

9.1.3數據的分箱處理286

9.2交互式與多項式特徵296

9.2.1添加交互式特徵296

9.2.2添加多項式特徵299

9.3自動化特徵選擇301

9.3.1單變量特徵選擇301

9.3.2基於模型的特徵選擇303

參考文獻311