Python 數據分析基礎與案例實戰

张良均，高级信息系统项目管理师，泰迪杯全国大学生数据挖掘竞（www.tipdm.org）的发起人。华南师范大学、广东工业大学兼职教授，广东省工业与应用数学学会理事。兼有大型高科技企业和高校的工作经历，主要从事大数据挖掘及其应用的策划、研发及咨询培训。全国计算机技术与软件专业技术资格（水平）考试继续教育和CDA数据分析师培训讲师。发表数据挖掘相关论文数二十余篇，已取得国家发明专利12项，主编图书《神经网络实用教程》、《数据挖掘:实用案例分析》、《MATLAB数据分析与挖掘实战》等9本热销图书，主持并完成科技项目9项。获得SAS、SPSS数据挖掘认证及Hadoop开发工程师证书，具有电力、电信、银行、制造企业、电子商务和电子政务的项目经验和行业背景。

第 1章 緒論 1

1.1　瞭解交通大數據　1

1.1.1　交通大數據的背景　1

1.1.2　交通大數據的應用　4

1.2　認識數據分析　5

1.2.1　掌握數據分析的基本任務　6

1.2.2　熟悉數據分析的基本流程　6

1.3　瞭解常用的數據分析工具　8

1.4　配置Python開發環境　9

1.4.1　安裝Anaconda　9

1.4.2　掌握Jupyter Notebook的使用方法　12

小結　14

課後習題　14

第　2章 Python數據分析簡介　16

2.1　入門Python數據分析　16

2.1.1　瞭解基本命令　16

2.1.2　掌握數據結構　19

2.1.3　函數式編程　21

2.1.4　導入與添加庫　23

2.2　瞭解Python數據分析常用擴展庫　24

2.2.1　NumPy　25

2.2.2　SciPy　26

2.2.3　pandas　27

2.2.4　Matplotlib　28

2.2.5　scikit-learn　30

小結　31

課後習題　31

第3章　數據獲取　32

3.1　瞭解常見的數據來源　32

3.2　瞭解交通信息的採集　33

3.2.1　交通信息的分類與特點　33

3.2.2　常見的交通信息採集技術　34

3.3　瞭解常見的數據類型　35

3.4　掌握數據的讀取方式　37

3.4.1　讀取數據庫數據　37

3.4.2　讀取文件數據　38

小結　40

課後習題　40

第4章　數據探索　41

4.1　分析數據質量　41

4.1.1　分析缺失值　41

4.1.2　分析異常值　42

4.2　分析數據特徵　45

4.2.1　分析數據的統計量　45

4.2.2　分析數據的分佈情況　48

4.2.3　對比分析數據　53

4.2.4　分析數據的周期性　56

4.2.5　分析數據的相關性　58

小結　61

課後習題　61

第5章　數據預處理　63

5.1　數據清洗　63

5.1.1　處理缺失值　63

5.1.2　處理異常值　66

5.2　數據變換　66

5.2.1　函數變換　66

5.2.2　數據標準化　67

5.2.3　離散化連續型數據　69

5.3　屬性構造　72

5.4　屬性規約　73

5.5　數據合並　76

5.5.1　多表合並　77

5.5.2　分組聚合數據　84

小結　92

課後習題　92

第6章　構建模型　94

6.1　構建分類與回歸模型　94

6.1.1　常用的分類與回歸算法　94

6.1.2　瞭解回歸分析　95

6.1.3　瞭解樸素貝葉斯　99

6.1.4　瞭解決策樹　101

6.1.5　瞭解人工神經網絡　104

6.1.6　評價分類與回歸模型　109

6.2　構建聚類模型　113

6.2.1　瞭解常用的聚類算法　113

6.2.2　瞭解K-Means聚類　114

6.2.3　瞭解密度聚類　120

6.2.4　聚類模型評價　124

6.3　構建時間序列模型　126

6.3.1　瞭解常用的時間序列模型　126

6.3.2　預處理時間序列　127

6.3.3　分析平穩時間序列　128

6.3.4　分析非平穩時間序列　131

小結　140

課後習題　140

第7章　運輸車輛駕駛行為分析　142

7.1　分析背景與目標　142

7.1.1　背景　142

7.1.2　數據說明　143

7.1.3　分析目標　144

7.2　數據探索分析　145

7.2.1　分佈分析　145

7.2.2　相關性分析　146

7.2.3　異常值檢測　147

7.3　駕駛行為聚類分析　149

7.3.1　K-Means聚類　149

7.3.2　層次聚類　152

7.3.3　高斯混合模型聚類　153

7.3.4　譜聚類　154

7.4　構建駕駛行為預測模型　156

7.4.1　構建線性判別分析模型　156

7.4.2　構建樸素貝葉斯模型　157

7.4.3　構建神經網絡模型　159

7.5　駕駛行為分析總結與建議　160

小結　160

課後習題　160

第8章　公交車站點設置優化分析　162

8.1　分析背景與目標　162

8.1.1　背景　163

8.1.2　數據說明　163

8.1.3　分析目標　164

8.2　探索公交刷卡數據　165

8.3　預處理公交車載GPS數據與刷卡數據　166

8.3.1　屬性規約　166

8.3.2　缺失值處理　166

8.3.3　數據去重　167

8.4　構建DBSCAN模型　168

8.5　公交車站點設置優化分析　170

8.5.1　計算上車人數　170

8.5.2　計算下車人數　172

8.5.3　結果分析　176

小結　177

課後習題　177

第9章　鐵路站點客流量預測　179

9.1　分析背景與目標　179

9.1.1　背景　179

9.1.2　數據說明　180

9.1.3　分析目標　180

9.2　預處理客流量數據　181

9.3　探索客流量數據　186

9.3.1　不同站點上下車客流量分佈分析　186

9.3.2　不同時段上下車客流量分佈分析　187

9.3.3　分析節假日客流量變化　189

9.4　構建模型並預測客流量　192

9.4.1　構建時間序列模型　192

9.4.2　預測非節假日客流量　195

9.4.3　預測節假日客流量　199

小結　206

課後習題　207

第　10章 基於TipDM大數據挖掘建模平臺實現運輸車輛駕駛行為分析　208

10.1　TipDM大數據挖掘建模平臺簡介　208

10.1.1　模型庫　210

10.1.2　數據連接　210

10.1.3　我的數據　210

10.1.4　我的工程　211

10.1.5　系統算法　211

10.1.6　個人算法　213

10.2　實現運輸車輛駕駛行為分析　214

10.2.1　數據源配置　214

10.2.2　數據探索分析　217

10.2.3　駕駛行為聚類分析　222

10.2.4　構建駕駛行為預測模型　230

小結　236

 

 

 

 

 

 

第　1章 緒論　1

1.1　瞭解交通大數據　1

1.1.1　交通大數據的背景　1

1.1.2　交通大數據的應用　4

1.2　認識數據分析　5

1.2.1　掌握數據分析的基本任務　6

1.2.2　熟悉數據分析的基本流程　6

1.3　瞭解常用的數據分析工具　8

1.4　配置Python開發環境　9

1.4.1　安裝Anaconda　9

1.4.2　掌握Jupyter Notebook的使用方法　12

小結　14

課後習題　14

第　2章 Python數據分析簡介　16

2.1　入門Python數據分析　16

2.1.1　瞭解基本命令　16

2.1.2　掌握數據結構　19

2.1.3　函數式編程　21

2.1.4　導入與添加庫　23

2.2　瞭解Python數據分析常用擴展庫　24

2.2.1　NumPy　25

2.2.2　SciPy　26

2.2.3　pandas　27

2.2.4　Matplotlib　28

2.2.5　scikit-learn　30

小結　31

課後習題　31

第3章　數據獲取　32

3.1　瞭解常見的數據來源　32

3.2　瞭解交通信息的採集　33

3.2.1　交通信息的分類與特點　33

3.2.2　常見的交通信息採集技術　34

3.3　瞭解常見的數據類型　35

3.4　掌握數據的讀取方式　37

3.4.1　讀取數據庫數據　37

3.4.2　讀取文件數據　38

小結　40

課後習題　40

第4章　數據探索　41

4.1　分析數據質量　41

4.1.1　分析缺失值　41

4.1.2　分析異常值　42

4.2　分析數據特徵　45

4.2.1　分析數據的統計量　45

4.2.2　分析數據的分佈情況　48

4.2.3　對比分析數據　53

4.2.4　分析數據的周期性　56

4.2.5　分析數據的相關性　57

小結　60

課後習題　61

第5章　數據預處理　63

5.1　數據清洗　63

5.1.1　處理缺失值　63

5.1.2　處理異常值　66

5.2　數據變換　66

5.2.1　函數變換　66

5.2.2　數據標準化　67

5.2.3　離散化連續型數據　69

5.3　屬性構造　72

5.4　屬性規約　73

5.5　數據合並　76

5.5.1　多表合並　77

5.5.2　分組聚合數據　84

小結　92

課後習題　92

第6章　構建模型　94

6.1　構建分類與回歸模型　94

6.1.1　常用的分類與回歸算法　94

6.1.2　瞭解回歸分析　95

6.1.3　瞭解樸素貝葉斯　99

6.1.4　瞭解決策樹　101

6.1.5　瞭解人工神經網絡　104

6.1.6　評價分類與回歸模型　109

6.2　構建聚類模型　113

6.2.1　瞭解常用的聚類算法　113

6.2.2　瞭解K-Means聚類　114

6.2.3　瞭解密度聚類　120

6.2.4　聚類模型評價　124

6.3　構建時間序列模型　126

6.3.1　瞭解常用的時間序列模型　126

6.3.2　預處理時間序列　127

6.3.3　分析平穩時間序列　128

6.3.4　分析非平穩時間序列　131

小結　140

課後習題　140

第7章　運輸車輛駕駛行為分析　142

7.1　分析背景與目標　142

7.1.1　背景　142

7.1.2　數據說明　143

7.1.3　分析目標　144

7.2　數據探索分析　145

7.2.1　分佈分析　145

7.2.2　相關性分析　146

7.2.3　異常值檢測　147

7.3　駕駛行為聚類分析　149

7.3.1　K-Means聚類　149

7.3.2　層次聚類　152

7.3.3　高斯混合模型聚類　153

7.3.4　譜聚類　154

7.4　構建駕駛行為預測模型　156

7.4.1　構建線性判別分析模型　156

7.4.2　構建樸素貝葉斯模型　157

7.4.3　構建神經網絡模型　159

7.5　駕駛行為分析總結與建議　160

小結　160

課後習題　160

第8章　公交車站點設置優化分析　162

8.1　分析背景與目標　162

8.1.1　背景　163

8.1.2　數據說明　163

8.1.3　分析目標　164

8.2　探索公交刷卡數據　165

8.3　預處理公交車載GPS數據與刷卡數據　166

8.3.1　屬性規約　166

8.3.2　缺失值處理　166

8.3.3　數據去重　167

8.4　構建DBSCAN模型　168

8.5　公交車站點設置優化分析　170

8.5.1　計算上車人數　170

8.5.2　計算下車人數　172

8.5.3　結果分析　176

小結　177

課後習題　177

第9章　鐵路站點客流量預測　179

9.1　分析背景與目標　179

9.1.1　背景　179

9.1.2　數據說明　180

9.1.3　分析目標　180

9.2　預處理客流量數據　181

9.3　探索客流量數據　186

9.3.1　不同站點上下車客流量分佈分析　186

9.3.2　不同時段上下車客流量分佈分析　187

9.3.3　分析節假日客流量變化　189

9.4　構建模型並預測客流量　192

9.4.1　構建時間序列模型　192

9.4.2　預測非節假日客流量　195

9.4.3　預測節假日客流量　199

小結　206

課後習題　207

第　10章 基於TipDM大數據挖掘建模平臺實現運輸車輛駕駛行為分析　208

10.1　Tip DM大數據挖掘建模平臺簡介　208

10.1.1　模型庫　210

10.1.2　數據連接　210

10.1.3　我的數據　210

10.1.4　我的工程　211

10.1.5　系統算法　211

10.1.6　個人算法　213

10.2　實現運輸車輛駕駛行為分析　214

10.2.1　數據源配置　214

10.2.2　數據探索分析　217

10.2.3　駕駛行為聚類分析　222

10.2.4　構建駕駛行為預測模型　230

小結　236