Python基礎與大數據應用

丁輝，長期從事程序設計教學工作，主講過C語言程序設計、Python程序設計、數據結構等課程。主持省級教改課題1項，市級2項；主編教材一部，參編多部；發表論文10多篇；主持橫向課題多項；指導學生“藍橋杯”程序設計競賽獲多個省一等獎，大數據技術與應用省賽三等獎；獲省“青藍工程”骨干教師稱號。

第1章Python環境搭建1
1．1 Python版本概述及下載Python安裝文件1
1．1．1 Python版本概述1
1．1．2下載Python安裝文件2
1．2安裝Python 5
1．2．1解壓下載的文件5
1．2．2運行Python安裝文件5
1．3 Python交互模式6
1．4 iPython 3和PyCharm概述7
1．4．1 iPython 3概述7
1．4．2 PyCharm概述9
1．5項目訓練：Python的安裝與使用13
1．6本章小結15
1．7練習15
1．8拓展訓練項目16
 

第2章Python編程基礎17
2．1變量17
2．2數值19
2．2．1整型19
2．2．2浮點型19
2．2．3複數型20
2．2．4布爾型20
2．3字符串21
2．3．1轉義字符21
2．3．2字符串運算21
2．3．3字符串操作方法22
2．4列表23
2．4．1列表的創建與刪除23
2．4．2列表操作方法24
2．4．3列表切片操作25
2．5元組27
2．6字典28
2．6．1字典的創建與訪問28
2．6．2字典元素的修改28
2．6．3字典操作方法29
2．7運算符30
2．7．1算術運算符30
2．7．2位運算符31
2．7．3邏輯運算符31
2．7．4比較運算符32
2．7．5賦值運算符32
2．7．6其他運算符33
2．8 Python代碼編寫規範34
2．9控制流35
2．9．1順序結構程序35
2．9．2分支結構程序40
2．9．3循環結構程序45
2．10項目訓練：個人所得稅計算53
2．11本章小結56
2．12練習56
2．13拓展訓練項目58
2．13．1 Python數值型變量的定義與賦值58
2．13．2 Python控制流和運算符59
2．13．3列表的基本操作59
2．13．4元組的基本操作59
2．13．5字典的基本操作59
2．13．6字符串的基本操作60
 

第3章函數61
3．1自定義函數61
3．1．1函數定義格式61
3．1．2函數的設計62
3．1．3 lambda表達式62
3．2函數調用63
3．3函數參數64
3．3．1位置參數64
3．3 ．2默認參數64
3．3．3關鍵參數65
3．3．4可變長度參數66
3．4變量作用域68
3．4．1局部變量68
3．4．2全局變量69
3．5異常70
3．5．1 Python標準異常類70
3．5．2異常處理71
3．6項目訓練：哥德巴赫狂想——任何大於2的偶數總可以分解成兩個素數的和75
3．7本章小結76
3．8練習77
3．9拓展訓練項目78
3．9．1用函數實現乘法口訣78
3．9．2 Python函數參數78
3．9．3 Python局部變量和全局變量78
3．9． 4 Python異常捕獲與處理78
 

第4章面向對象編程基礎79
4．1類和對象79
4．1．1類79
4．1．2對象80
4．2屬性與方法80
4．2．1屬性80
4．2．2方法83
4．3繼承84
4．4多態86
4．5項目訓練：簡單學生成績管理系統88
4．6本章小結91
4．7練習92
4．8拓展訓練項目93
4．8．1 Python類與對象93
4．8．2類方法、實例方法和靜態方法93
4．8．3類繼承、組合94
4．8．4類的多重繼承94
 

第5章模塊95
5．1模塊的創建和命名空間95
5．1．1模塊的創建95
5．1．2命名空間96
5．2模塊的導入和路徑97
5．2．1模塊的導入97
5．2．2模塊的路徑98
5．3包100
5 ．4 Python內置模塊100
5．4．1 math模塊100
5．4．2 random模塊101
5．4．3 time模塊101
5．4．4 datetime模塊103
5．4．5 calendar模塊104
5．4． 6 sys模塊105
5．4．7 zipfile模塊106
5．5項目訓練：日曆108
5．6本章小結110
5．7練習111
5．8拓展訓練項目111
5．8．1 Python模塊導入111
5．8．2 zipfile模塊的使用112
5．8．3 Python模塊的屬性112
5．8．4 Python模塊內置函數112
 

第6章Python文件和數據庫113
6．1文件的基本操作113
6．1．1內置函數open() 113
6．1．2文件對象常用的屬性和方法114
6．1．3文件操作案例116
6．2文件系統的基本操作119
6．3 MySQL數據庫121
6．3．1 MySQL簡介121
6．3．2安裝MySQL 122
6．3．3使用Python連接MySQL數據庫126
6．3．4 MySQL的基本操作127
6．4項目訓練：使用Python完成課程表和學生信息表的創建128
6．5本章小結131
6．6練習132
6．7拓展訓練項目133
6．7．1安裝MySQL數據庫和Python連接數據庫133
6．7．2使用Python實現MySQL增查改刪133
6．7．3 Python文件的基本操作133
6．7．4 Python文件目錄的基本操作134
 

第7章Python爬蟲基礎135
7．1網絡爬蟲概述及其結構135
7．1．1網絡爬蟲概述135
7．1．2網絡爬蟲結構136
7．2 urllib庫137
7．2．1 urllib．request模塊137
7．2．2 urllib．parse模塊138
7．2．3 urllib．error模塊140
7．3使用urllib爬取網頁141
7．4瀏覽器的模擬與實戰142
7．5正則表達式143
7．6圖片爬蟲實戰147
7．7項目訓練：用urllib庫爬取百度貼吧148
7．8本章小結152
7．9練習152
7．10拓展訓練項目153
7．10．1 urllib庫的使用153
7．10．2百度貼吧網頁爬蟲153
7．10．3淘寶網站圖片爬蟲153
 

第8章Python爬蟲框架154
8．1常見爬蟲框架154
8．2 Scrapy爬蟲框架的安裝155
8．3 Scrapy爬蟲框架簡介156
8．4 Scrapy常用工具命令157
8．4．1創建一個Scrapy項目157
8．4 ．2 Scrapy全局命令158
8．4．3 Scrapy項目命令160
8．5 Scrapy爬蟲實戰161
8．6項目訓練：用Scrapy爬取豆瓣圖書167
8．7本章小結171
8．8練習171
8．9拓展訓練項目171
8．9．1 Scrapy框架的安裝及使用171
8．9．2 Scrapy命令行工具172
 

第9章數據分析基礎173
9．1 numpy模塊173
9．1．1 ndarray類型數組174
9．1．2 matrix類型矩陣182
9．1．3 matrix類型和array類型的區別189
9．2 pandas模塊193
9．2．1 pandas模塊基礎193
9．2．2 pandas模塊數據清洗199
9．2．3 pandas模塊數據預處理221
9．2．4 pandas模塊數據提取230
9．2．5 pandas模塊數據篩選234
9．2．6 pandas模塊數據匯總235
9．2．7 pandas模塊數據統計237
9．2．8 pandas模塊綜合應用示例239
9．3項目訓練：清洗和預處理8．6節中爬取的doubanread．csv文件245
9．4本章小結247
9．5練習247
9．6拓展訓練項目249
9．6．1 pandas基本功能實驗249
9．6．2 pandas匯總和計算實驗249
9．6．3 pandas缺失數據處理249
9．6．4 pandas構建層次化索引249
 

第10章pandas數據分析251
10．1 pandas文件讀寫基礎251
10． 1．1 CSV文件的讀寫251
10．1．2 Excel文件的讀寫254
10．2 pandas與MySQL數據庫的交互256
10．2．1 pandas與MySQL連接的步驟256
10．2．2 pandas與MySQL交互257
10．3 pandas字符串處理259
10．4 pandas數據分組與聚合265
10．4．1使用內置的聚合函數進行聚合運算265
10．4．2分組與聚合過程267
10．4．3 agg( )和apply()聚合函數268
10．5項目訓練：電影數據統計271
10．6本章小結274
10．7練習274
10．8拓展訓練項目274
10．8．1 pandas文件讀寫274
10．8． 2 pandas數據庫讀寫275
10．8．3 pandas數據處理275
10．8．4 pandas數據聚合和組迭代275
 

第11章Python可視化與可視化工具276
11．1 Python可視化與可視化工具介紹276
11．2 pandas基本圖形繪製278
11．2．1折線圖278
11．2．2柱狀圖282
11．2．3直方圖285
11．2．4散點圖285
11．2．5面積圖287
11．2．6餅圖287
11．2．7密度圖290
11．3 matplotlib繪圖291
11．3．1 matplotlib繪圖基礎291
11．3．2 matplotlib交互繪圖291
11 ．4 matplotlib．pyplot的使用294
11．4．1 pyplot繪圖基礎294
11．4．2多種類型圖的繪製297
11．5項目訓練：電影數據信息分析306
11．6本章小結310
11．7練習310
11．8拓展訓練項目310
11．8．1 pandas繪圖310
11．8．2 matplotlib交互式繪圖實踐310
11．8．3 pyplot繪圖元素的設置311
11．8．4子圖的繪製311

附錄312

參考文獻316