數據分析入門

目錄

第1章目標與任務1

1.1數據時代與當代社會1

1.1.1從“因特網+”邁向“數據要素×”1

1.1.2數據與數據驅動2

1.1.3數據分析的應用場景2

1.2數據分析的主要步驟及方法4

1.2.1數據分析的主要步驟4

1.2.2數據分析的主要方法5

1.3利用AI工具輔助數據分析的學習與應用6

1.3.1使用AI工具示例6

1.3.2關於AI的思考9

1.4新文科與數據分析11

1.4.1新技術催生新文科11

1.4.2計算思維與數據思維12

1.4.3適合新文科的數據分析工具——Python14

1.4.4Python的編程環境15

1.5問題邏輯認知模式及基於問題邏輯認知模式的成果導向教育22

1.5.1人腦及人的認知過程22

1.5.2“知識邏輯認知模式”與“問題邏輯認知模式”24

1.5.3基於問題邏輯認知模式的成果導向教育26

1.6本書的使命29

1.7動手做一做29

第2章數據分析師崗位情況分析——提出問題、明確分析目的30

2.1Excitation——提出問題30

2.1.1背景30

2.1.2AI助學31

2.1.3提出問題31

2.2Exploration——探索問題本質32

2.2.1探索問題本質——找準靶心32

2.2.2AI助學32

2.2.3關於數據來源33

2.2.4明確目標要完成的任務34

2.3Enhancement——拓展求解問題必備的知識和能力34

2.3.1如何獲取外部數據34

2.3.2如何正確地定義問題39

2.3.3如何明確具體需求40

2.3.4如何合理地分解問題41

2.3.5如何抓住關鍵的問題42

2.4Execution——實際動手解決問題43

2.4.1獲取分析數據43

2.4.2正確定義問題44

2.4.3明確具體需求44

2.4.4合理地分解問題45

2.4.5抓住關鍵的問題46

2.5Evaluation——評價與反思46

2.6動手做一做47

第3章數據分析師崗位情況分析——數據預處理49

3.1Excitation——提出問題49

3.2Exploration——探索問題本質51

3.2.1AI助學51

3.2.2探索問題本質——找準靶心52

3.3Enhancement——拓展求解問題必備的知識和能力53

3.3.1選擇數據預處理工具53

3.3.2Pandas基礎54

3.3.3用Pandas進行數據清洗59

3.3.4用Pandas進行數據篩選70

3.3.5用Pandas進行數據轉換72

3.4Execution——實際動手解決問題73

3.4.1讀入數據集文件74

3.4.2數據清洗和特徵選擇74

3.4.3數據轉換77

3.4.4將數據預處理結果保存到文件80

3.4.5數據預處理的完整代碼80

3.5Evaluation——評價與反思82

3.6動手做一做82

第4章數據分析師崗位情況分析——描述性數據分析與數據可視化83

4.1Excitation——提出問題83

4.2Exploration——探索問題本質83

4.3Enhancement——拓展求解問題必備的知識和能力84

4.3.1AI助學84

4.3.2使用Pandas查看基本統計信息87

4.3.3數據可視化基本方法90

4.4Execution——實際動手解決問題102

4.4.1瞭解數據集的基本統計信息102

4.4.2數據可視化分析103

4.5Evaluation——評價與反思113

4.6動手做一做113

第5章氣候變化對生物多樣性的影響分析——明確分析目的、採集分析數據114

5.1Excitation——提出問題114

5.2Exploration——探尋問題本質115

5.3Enhancement——拓展求解問題必備的知識和能力115

5.3.1AI助學115

5.3.2如何撰寫數據說明文檔117

5.4Execution——實際動手解決問題118

5.4.1正確定義問題118

5.4.2獲取分析數據119

5.4.3明確具體需求128

5.4.4合理地分解問題128

5.4.5抓住關鍵的問題129

5.5Evaluation——評價與反思129

5.6動手做一做130

第6章氣候變化對生物多樣性的影響分析——提高數據質量、預處理數據131

6.1Excitation——提出問題131

6.1.1查看年度地表溫度變化數據131

6.1.2查看世界月度二氧化碳濃度變化數據133

6.1.3查看平均海平面高度變化數據134

6.1.4查看瀕危物種數量變化數據135

6.2Exploration——探尋問題本質136

6.2.1數據預處理與特徵工程136

6.2.2對數據預處理任務進行梳理137

6.2.3數據表的合並137

6.3Enhancement——拓展求解問題必備的知識和能力138

6.3.1使用Pandas進行數據轉換138

6.3.2使用Pandas進行特徵提取143

6.3.3使用Pandas進行特徵轉換144

6.3.4使用Pandas進行數據表合並147

6.4Execution——實際動手解決問題150

6.4.1年度地表溫度變化數據預處理151

6.4.2世界大氣二氧化碳濃度數據處理155

6.4.3平均海平面高度變化數據處理160

6.4.4瀕危物種數量變化數據處理163

6.4.5數據合並166

6.5Evaluation——評價與反思168

6.5.1評價168

6.5.2反思169

6.6動手做一做170

第7章氣候變化對生物多樣性的影響分析——探索數據相關性與分佈情況171

7.1Excitation——提出問題171

7.2Exploration——探尋問題本質171

7.2.1AI助學172

7.2.2探索問題本質173

7.3Enhancement——拓展求解問題必備的知識和能力174

7.3.1AI助學——特徵相關性分析174

7.3.2進行相關性分析的方法175

7.3.3數據可視化變量間的相關性180

7.3.4利用聚類方法觀察數據的分佈189

7.4Execution——實際動手解決問題195

7.4.1探查數據結構與基本的統計信息195

7.4.2探索數據的相關性196

7.4.3探索數據的變化趨勢199

7.4.4探索數據的分佈情況202

7.5Evaluation——評價與反思205

7.6動手做一做206

第8章氣候變化對生物多樣性的影響分析——預測性分析207

8.1Excitation——提出問題207

8.2Exploration——探尋問題本質207

8.3Enhancement——拓展求解問題必備的知識和能力208

8.3.1AI助學——瞭解常用的機器學習模型208

8.3.2基本概念和術語209

8.3.3構建機器學習模型的基本步驟210

8.3.4使用Python對數據集進行劃分211

8.3.5常用評價模型的指標213

8.3.6常用的幾種機器學習模型建模214

8.3.7尋找最佳模型參數224

8.3.8模型預測效果可視化226

8.3.9度量特徵的重要性228

8.4Execution——實際動手解決問題230

8.4.1模型選擇230

8.4.2使用最佳模型進行預測233

8.4.3特徵重要性度量235

8.4.4構建隨機森林預測模型236

8.4.5隨機森林模型預測效果可視化237

8.5Evaluation——評價與反思239

8.6動手做一做242

第9章氣候變化對生物多樣性的影響分析——指導性分析243

9.1Excitation——提出問題243

9.2Exploration——探尋問題本質243

9.3Enhancement——拓展求解問題必備的知識和能力245

9.3.1AI助學——瞭解常用的時間序列預測模型245

9.3.2ARIMA模型基本原理245

9.3.3ARIMA模型建模步驟246

9.3.4使用Python實現ARIMA模型的構建247

9.4Execution——實際動手解決問題253

9.4.1分析數據的採集253

9.4.2相關性分析254

9.4.3構建ARIMA模型預測未來二氧化碳的排放趨勢256

9.5Evaluation——評價與反思260

9.6動手做一做261

第10章氣候變化對生物多樣性的影響分析——撰寫數據分析報告262

10.1Excitation——提出問題262

10.2Exploration——探尋問題本質262

10.3Enhancement——拓展求解問題必備的知識和能力263

10.3.1AI助學——數據分析報告的基本結構263

10.3.2AI助學——生成數據分析報告的封面圖片264

10.4Execution——實際動手解決問題265

10.4.1封面與目錄265

10.4.2前言265

10.4.3數據收集和描述266

10.4.4數據分析結果270

10.4.5結論與建議274

10.5Evaluation——評價與反思275

10.6動手做一做275