Python數據分析與可視化實踐

目.錄

第一部分.Python數據可視化基礎篇

第1章.Python快速入門........................2

1.1 安裝Python …………………………………………………………………………2

1.1.1 安裝Anaconda ………………………………………………………………2

1.1.2 安裝Python庫 ………………………………………………………………5

1.2 Python的基礎知識 …………………………………………………………………5

1.2.1 列表 …………………………………………………………………………6

1.2.2 元組 …………………………………………………………………………8

1.2.3 字典 …………………………………………………………………………9

1.2.4 集合 …………………………………………………………………………10

1.2.5 字符串 ………………………………………………………………………11

1.3 Python的語法結構 …………………………………………………………………12

1.3.1 條件判斷語句 ………………………………………………………………12

1.3.2 循環語句 ……………………………………………………………………13

1.3.3 try/except語句 ………………………………………………………………14

1.4 Python函數 …………………………………………………………………………15

1.4.1 函數 …………………………………………………………………………15

1.4.2 lambda函數 …………………………………………………………………16

1.5 數據可視化分析 ……………………………………………………………………16

1.5.1 什麽是好的數據可視化 ……………………………………………………16

1.5.2 數據可視化圖像的基本類型 ………………………………………………17

1.5.3 數據可視化分析基本流程 …………………………………………………18

1.5.4 Python進行數據可視化分析的優勢 ………………………………………18

1.6 本章小結 ……………………………………………………………………………19

第2章　Numpy與Pandas的數據操作和可視化.............20

2.1 Numpy數據操作 ……………………………………………………………………21

2.1.1 生成數組的方式 ……………………………………………………………21

2.1.2 數組的基礎操作 ……………………………………………………………23

2.1.3 Numpy的常用函數 …………………………………………………………27

2.2 Pandas數據的生成和讀取 …………………………………………………………34

2.2.1 序列和數據表的生成 ………………………………………………………34

2.2.2 數據索引 ……………………………………………………………………36

2.2.3 數據讀取 ……………………………………………………………………38

2.3 Pandas數據操作 ……………………………………………………………………39

2.3.1 數據表的合並 ………………………………………………………………39

2.3.2 數據表的轉換 ………………………………………………………………40

2.3.3 數據表的聚合和分組計算 …………………………………………………42

2.3.4 處理時間數據 ………………………………………………………………43

2.4 Pandas數據可視化 …………………………………………………………………44

2.4.1 Pandas的數據可視化函數 …………………………………………………45

2.4.2 Pandas數據可視化實戰 ……………………………………………………45

2.5 本章小結 ……………………………………………………………………………50

第3章　Matplotlib數據可視化.....................51

3.1 Matplotlib的兩種數據可視化方式 …………………………………………………52

3.1.1 類似Matlab風格的數據可視化方式 ………………………………………52

3.1.2 面向對象風格的數據可視化方式 …………………………………………53

3.1.3 設置正確顯示中文的方法 …………………………………………………55

3.2 Matplotlib的圖表組成元素 …………………………………………………………57

3.2.1 plot函數的使用 ………………………………………………………………58

3.2.2 設置坐標系取值範圍和類型 ………………………………………………60

3.2.3 設置坐標軸刻度標簽 ………………………………………………………62

3.2.4 設置網格線和參考線 ………………………………………………………63

3.2.5 添加註釋和文本、使用公式、設置圖例 …………………………………64

3.3 Matplotlib可視化子圖 ………………………………………………………………66

3.3.1 plt.axes函數設置子圖位置 …………………………………………………66

3.3.2 plt.subplot函數創建網格子圖 ………………………………………………67

3.3.3 plt.subplots函數創建網格子圖 ……………………………………………70

3.3.4 plt.GridSpec函數對網格進行更復雜排列 …………………………………71

3.4 Matplotlib可視化函數 ………………………………………………………………72

3.4.1 類別比較圖形可視化函數 …………………………………………………72

3.4.2 數據關系圖形可視化函數 …………………………………………………78

3.4.3 數據分佈圖形可視化函數 …………………………………………………80

3.4.4 其他圖形可視化函數 ………………………………………………………83

3.5 Matplotlib可視化三維圖像 …………………………………………………………88

3.5.1 三維點圖和三維線圖 ………………………………………………………88

3.5.2 三維等高線圖 ………………………………………………………………90

3.5.3 三維曲面圖和曲線圖 ………………………………………………………90

3.6 本章小結 ……………………………………………………………………………91

第二部分.Python數據可視化提高篇

第4章　Python經典的靜態數據可視化庫.................93

4.1 Seaborn數據可視化 …………………………………………………………………93

4.1.1 關系型數據可視化函數 ……………………………………………………95

4.1.2 分佈型數據可視化函數 …………………………………………………101

4.1.3 分類型數據可視化函數 …………………………………………………105

4.1.4 熱力圖數據可視化函數 …………………………………………………108

4.1.5 網格數據可視化 …………………………………………………………110

4.2 plotnine數據可視化 ………………………………………………………………110

4.2.1 幾何圖層 …………………………………………………………………111

4.2.2 圖表美化 …………………………………………………………………116

4.2.3 位置調整 …………………………………………………………………118

4.2.4 圖像分面與子圖 …………………………………………………………120

4.3 本章小結 …………………………………………………………………………124

第5章　網絡圖可視化........................125

5.1 網絡圖的形式 ……………………………………………………………………125

5.2 Networkx網絡圖可視化 …………………………………………………………126

5.2.1 Networkx生成網絡圖 ……………………………………………………126

5.2.2 Networkx設置節點和邊 …………………………………………………132

5.2.3 Networkx設置佈局方式 …………………………………………………135

5.2.4 Networkx可視化復雜網絡圖 ……………………………………………138

5.3 igraph網絡圖可視化 ……………………………………………………………143

5.3.1 igraph生成並可視化網絡圖 ………………………………………………143

5.3.2 igraph設置節點和邊 ………………………………………………………145

5.3.3 igraph設置節點的佈局方式 ………………………………………………148

5.3.4 igraph可視化特定的路線 …………………………………………………149

5.4 本章小結 …………………………………………………………………………152

第6章　plotly交互式數據可視化...................153

6.1 plotly簡介 …………………………………………………………………………154

6.2 plotly數值型變量數據可視化 ……………………………………………………154

6.2.1 單個數值型變量數據可視化 ……………………………………………154

6.2.2 兩個數值型變量數據可視化 ……………………………………………156

6.2.3 三個數值型變量數據可視化 ……………………………………………159

6.2.4 多個連續數值型變量數據可視化 ………………………………………163

6.3 plotly分類型變量數據可視化 ……………………………………………………167

6.3.1 單個分類型變量數據可視化 ……………………………………………167

6.3.2 多個分類型變量數據可視化 ……………………………………………168

6.4 plotly數值型和分類型變量數據可視化 …………………………………………171

6.4.1 單個數值型和單個分類型變量數據可視化 ……………………………171

6.4.2 多個數值型和單個分類型變量數據可視化 ……………………………173

6.4.3 單個數值型和多個分類型變量數據可視化 ……………………………177

6.5 plotly其他類型數據可視化 ………………………………………………………180

6.5.1 可交互網絡圖可視化 ……………………………………………………180

6.5.2 時序數據可視化 …………………………………………………………185

6.6 本章小結 …………………………………………………………………………186

第7章　Python其他交互式數據可視化庫................187

7.1 Bokeh交互式數據可視化 ………………………………………………………187

7.1.1 Bokeh的簡介與設置 ……………………………………………………187

7.1.2 Bokeh數據可視化 ………………………………………………………188

7.2 pyecharts交互式數據可視化 ……………………………………………………196

7.2.1 pyecharts的簡介與設置 …………………………………………………196

7.2.2 pyecharts數據可視化 ……………………………………………………198

7.3 本章小結 …………………………………………………………………………211

第三部分.Python數據可視化分析實戰篇

第8章　足球運動員數據可視化分析..................213

8.1 數據清洗與預處理 ………………………………………………………………214

8.2 數據探索性可視化分析 …………………………………………………………218

8.2.1 可視化分析足球運動員年齡與價值之間的關系 ………………………219

8.2.2 可視化分析足球運動員年齡和綜合評分之間的關系 …………………224

8.2.3 可視化分析聯盟和俱樂部的足球運動員信息 …………………………225

8.2.4 可視化分析多個變量之間的關系 ………………………………………231

8.2.5 與球場位置相關的數據可視化分析 ……………………………………233

8.3 數據降維可視化分析 ……………………………………………………………238

8.3.1 主成分降維 ………………………………………………………………238

8.3.2 可視化主成分得分 ………………………………………………………240

8.4 數據聚類可視化分析 ……………………………………………………………242

8.4.1 尋找合適的聚類數目 ……………………………………………………242

8.4.2 K均值聚類可視化 ………………………………………………………243

8.4.3 利用主成分特徵進行聚類分析 …………………………………………244

8.5 本章小結 …………………………………………………………………………247

第9章　抗乳腺癌候選藥物可視化分析.................248

9.1 數據特徵探索性可視化分析 ……………………………………………………251

9.1.1 藥物的性質特徵探索性可視化分析 ……………………………………252

9.1.2 藥物的生物活性探索性可視化分析 ……………………………………254

9.1.3 藥代動力學性質和安全性探索性可視化分析 …………………………257

9.2 數據特徵選擇 ……………………………………………………………………257

9.2.1 根據回歸互信息篩選特徵 ………………………………………………257

9.2.2 通過隨機森林回歸模型選擇特徵 ………………………………………259

9.3 回歸模型預測生物活性 …………………………………………………………260

9.3.1 建立多元線性回歸模型 …………………………………………………262

9.3.2 建立支持向量機回歸模型 ………………………………………………267

9.3.3 建立GBDT回歸模型 ……………………………………………………268

9.4 分類模型預測藥代動力學性質和安全性 ………………………………………269

9.4.1 心臟毒性預測 ……………………………………………………………270

9.4.2 遺傳毒性預測 ……………………………………………………………273

9.5 本章小結 …………………………………………………………………………277

第10章　時序數據的異常值檢測和預測.................278

10.1 時序數據探索性可視化分析 ……………………………………………………279

10.1.1 時序數據的分佈情況可視化分析 ………………………………………280

10.1.2 時序數據的波動情況可視化分析 ………………………………………281

10.2 異常值檢測 ………………………………………………………………………284

10.2.1 ADTK檢測單列時序數據的異常值 ……………………………………284

10.2.2 ADTK檢測多列時序數據的異常值 ……………………………………287

10.2.3 Prophet檢測單列時序數據的異常值 …………………………………289

10.2.4 基於VAR模型檢測多列時序數據的異常值 …………………………291

10.3 異常值預測 ………………………………………………………………………297

10.3.1 Prophet算法檢測數據中的異常值 ……………………………………297

10.3.2 提取異常值數據特徵 ……………………………………………………299

10.3.3 異常值預測分類模型 ……………………………………………………301

10.3.4 數據平衡後建立分類模型 ………………………………………………303

10.4 趨勢預測 …………………………………………………………………………305

10.4.1 單變量預測的SARIMA模型 …………………………………………306

10.4.2 單變量預測的Prophet模型 ……………………………………………308

10.4.3 多變量預測的VAR模型 ………………………………………………310

10.5 本章小結 …………………………………………………………………………312

第11章　中藥材鑒別數據可視化分析..................313

11.1 無監督學習算法鑒別中藥材類別 ………………………………………………314

11.1.1 數據特徵探索性可視化分析 ……………………………………………315

11.1.2 使用數據原始的特徵進行聚類 …………………………………………317

11.1.3 使用數據降維後的特徵進行聚類 ………………………………………320

11.2 有監督學習算法鑒別中藥材產地 ………………………………………………324

11.2.1 不同產地的中藥材特徵可視化分析 ……………………………………325

11.2.2 利用選擇的特徵進行分類 ………………………………………………325

11.3 半監督學習算法鑒別中藥材類別 ………………………………………………330

11.3.1 數據預處理和可視化分析 ………………………………………………330

11.3.2 數據主成分降維 …………………………………………………………332

11.3.3 使用標簽傳播算法進行分類 ……………………………………………334

11.3.4 半監督學習分類——利用SelfTrainingClassi.er ………………………336

11.4 本章小結 …………………………………………………………………………338