數據分析與數據思維——Python編程要點、分析方法與實踐技能

朝樂門，男，1979年生，中國人民大學信息資源管理學院、數據工程與知識工程教育部重點實驗室副教授，博士生導師。
中國計算機學會信息系統專委員會委員、ACM高級會員、國際知識管理協會正式委員、全國高校大數據教育聯盟大數據教材專家指導委員會委員、清華大學博士後校友會IT分會副秘書長；主持完成國家自然科學基金、國家社會科學基金等重要科學研究項目10餘項；參與完成核高基、973、863、國家自然科學基金重點項目、國家社會科學基金重大項目等國家重大科研項目10餘項；發表SCI/SSCI/EI/CSCI論文30餘篇，軟件著作權5個、發明專利3項、出版學術專著3部；獲得北京市中青年骨干教師稱號、國際知識管理與智力資本傑出成就獎、IBM全球卓越教師獎、Emerald/EFMD國際傑出博士論文獎、國家自然科學基金項目優秀項目、中國大數據學術創新獎、中國大數據創新百人榜單、全國大數據教育行業傑出貢獻獎等多種獎勵30餘項。

第1章  Python語言與數據分析 學習指南 ........1 
1.1  Python語言及其特徵 .................................................................................................. 2 
1.1.1  Python語言的特點 .......................................................................................... 2 
1.1.2  Python語言的版本 .......................................................................................... 3 
1.2  數據分析與Python語言 ............................................................................................. 4 
1.2.1  Python語言在數據分析領域的重要地位 ....................................................... 6 
1.2.2  Python語言程序代碼的編寫質量 ................................................................... 7 
1.3  面向數據分析的Python編程 ...................................................................................... 7 
1.3.1  Python語言的基礎語法 .................................................................................. 7 
1.3.2  Python的第三方工具包 .................................................................................. 8 
1.3.3  Python學習或編程中常見誤區 ....................................................................... 8 
1.4  Python數據分析的集成開發環境 ............................................................................... 9 
1.5  Python代碼的編寫與運行實例 ................................................................................... 10 
小結 ....... 12 
習題1.................................................................................................................. 13 

第2章  Python語言基礎語法 學習指南............................................................................................................... 15 
2.1  變量及其定義方法 .............................................................................................. 16 
2.1.1  變量的定義方法 .............................................................................................. 17 
2.1.2  Python是動態類型語言 .................................................................................. 17 
2.1.3  Python是強類型語言 ....................................................................... ............... 18 
2.1.4  Python中的變量是引用類變量 ....................................................................... 19 
2.1.5  Python中區分大小寫 ...................................................................................... 19 
2.1.6  變量命名規範 .................................................................................................. 19 
2.1.7  iPython的特殊變量 ......................................................................................... 21 
2.1.8  查看Python關鍵字的方法 ............................................................................. 21 
2.1.9  查看已定義的所有變量 ................................................................................... 22 
2.1.10  刪除變量 ........................................................................................................ 23 
2.2  運算符、表達式、語句 ............................................................................................... 23 
2.2.1  運算符 ........................................................................................ .......... 23 
2.2.2  語句書寫規範 .................................................................................................. 30 
2.2.3  賦值語句 .......................................................................................................... 33 
2.2.4  註釋語句 .......................................................................................................... 35 
2.2.5  if語句 ..................................................................................................... 36 
2.2.6  for語句 .................................................................................................... 39 
2.2.7  while語句 ........................................................................................................ 42 
2.2.8  pass語句 .......................................................................................................... 44 
2.3  數據類型與數據結構 ........................................................................................ 45 
2.3.1  數據類型 .......................... ................................................................................ 45 

2.3.2  列表.......................................................................................................... 51 
2.3.3  元組.................................................................................................... 61 
2.3.4  字符串................................................................................................... 67 
2.3.5  序列.................................................................................................... 72 
2.3.6  集合.................................................................................................... 76 
2.3.7  字典.................................................................................................... 80 
2.4  包與模塊 ......................................................................................................... 82 
2.4.1  包 .......................................................................................................... 82 
2.4.2  模塊 ..................................................................................................... 86 
2.5  內置函數、模塊函數和自定義函數 ........................................................................... 88 
2.5.1  函數 ................................................................................................. 88 
2.5.2  內置函數 .......................................................................................................... 90 
2.5.3  模塊函數 .......................................................................................................... 93 
2.5.4  自定義函數 ..................................................................................... 95 
小結 .................................................................................................................. 104 
習題2 .............................................................................................................. 104 

第3章  Python語言不錯語法 學習指南 .......................................................... .............................................. 109 
3.1  迭代器與可迭代對象 ................................................................................................... 109 
3.1.1  可迭代對象 ................................................................................. 111 
3.1.2  迭代器 .................................................................................................. 111 
3.2  生成器與裝飾器 .......................................................................................................... 112 
3.2.1  生成器 .............................................................................................................. 112 
3.2.2  裝飾器 .............................................................................................................. 113 
3.3  查閱幫助 ...................................................................................................................... 115 
3.3.1  help函數 .............................................................................................. ............ 116 
3.3.2  docString .......................................................................................................... 116 
3.3.3  查看源代碼 ........................................................................................... 117 
3.3.4  doc屬性 ........................................................................................................... 118 
3.3.5  dir()函數 .......................................................................................................... 118 
3.3.6  其他方法 .......................................................................................................... 119 
3.4  異常處理、斷言與程序調試 ....................................................................................... 119 
3.4.1  try/except/finally .............................................................................................. 121 
3.4.2  異常/錯誤信息的顯示模式 ............................................................................. 122 
3.4.3  斷言與檢查點的設置 .................. ..................................................................... 123 
3.4.4  調試程序的基本方法 ....................................................................................... 124 
3.5  數據文件的讀寫 .......................................................................................................... 127 
3.5.1  搜索路徑 .......................................................................................................... 128 
3.5.2  當前工作目錄 .................................................................................................. 130 
3.5.3  文件讀寫方法 .................................................................................................. 131 
3.6  面向對象編程 .............................................................................................................. 131 
3.6.1  類的定義方法 .................................................................................................. 132 
3.6.2  類中的特殊方法 ............................................................................. ................. 133 
3.6.3  類之間的繼承關係........................................................................................... 135 
3.6.4  私有屬性及@property裝飾器 ........................................................................ 136 
3.6.5  self和cls ......................................................................................................... 136 
3.6.6  new與init的區別和聯繫 ................................................................................ 137 
小結 ....................................................................................................................................... 138 
習題3 ................................................................................................................... 139 

第4章  數據準備與加工 學習指南 ............................................................................................................................... 141 
4.1  隨機數 .......................................................................................................................... 141 
4.1.1  一次生成一個隨機數 ....................................................................................... 142 
4.1.2  一次生成一個隨機數組 ................................................................................... 143 
4.2  多維數組 ...................................................................................................................... 144 
4.2.1  創建方法 .......................................................................................................... 147 
4.2.2  主要特徵 .......................................................................................................... 148 
4.2.3  切片讀取 .......................................................................................................... 149 
4.2.4  淺拷貝和深拷貝 .............................................................................................. 153 
4.2.5  形狀與重構 ...................................................................................................... 153 
4.2.6  屬性計算 ................... ....................................................................................... 154
4.2.7  ndarray的計算 ................................................................................................. 157 
4.2.8  ndarray的元素類型 ......................................................................................... 158 
4.2.9  插入與刪除 ...................................................................................................... 159 
4.2.10  缺失值處理 .................................................................................................... 160 
4.2.11  ndarray的廣播規則 ....................................................................................... 160 
4.2.12  ndarray的排序 ............................................................................................... 162 
4.3  數據框 .......................................................................................................................... 162 
4.3.1  創建方法 .......................................................... ................................................ 1 
4.3.2  查看行或列 ...................................................................................................... 165 
4.3.3  切片方法 .......................................................................................................... 164
4.3.4  索引操作 .......................................................................................................... 168 
4.3.5  刪除或過濾行/列 ........................................................................................... 169 
4.3.6  算術運算 .......................................................................................................... 172 
4.3.7  描述性統計 ...................................................................................................... 174 
4.3.8  數據排序 .......................................................................................................... 174
4.3.9  導入/導出 .................................................................................................. ..... 177 
4.3.10  缺失數據處理 ................................................................................................ 178 
4.3.11  分組統計 ........................................................................................................ 182 
4.4  Key-Value型數據 ........................................................................................................ 183 
4.4.1  Series的主要特點 ............................................................................................ 184 
4.4.2  Series的定義方法 ............................................................................................ 185 
4.4.3  Series的操作方法 ............................................................................................ 187 
4.5  時間與日期類型數據 ................................................................................................... 189 
4.5.1  定義方法 .......................................................................................................... 190 
4.5.2  轉換方法 ....................... ................................................................................... 192 
4.5.3  顯示系統當前時間........................................................................................... 193 
4.5.4  計算時差 .......................................................................................................... 194 
4.5.5  時間索引 .......................................................................................................... 194 
4.5.6  period_range()函數 ......................................................................................... 194
4.6  數據可視化 ........................................................................... 194
4.6.1  Matplotlib 可視化 ............................................................................................ 197 
4.6.2  改變圖的屬性 .................................................................................................. 199 
4.6.3  改變圖的類型 .................................................................................................. 201
4.6.4  改變圖的坐標軸的取值範圍 ........................................................................... 202 
4.6.5  去掉邊界的空白 .............................................................................................. 203 
4.6.6  在同一個坐標上畫圖 ............................................................................... 204 
4.6.7  多圖顯示 .......................................................................................................... 205 
4.6.8  圖的保存 .......................................................................................................... 205 
4.6.9  散點圖的畫法 .................................................................................................. 206
4.6.10  Pandas可視化 ................................................................................................ 206
4.6.11  Seaborn可視化 .............................................................................................. 208 
4.6.12  教師工資收入的可視化分析 ......................................................................... 211 
小結 ....................................................................................................................................... 212 
習題4 ......................................................................................................... 212 

第5章  數據分析算法與模型 學習指南 ............................................................................................................................... 215 
5.1  基於Python的統計學編程.......................................................................................... 215 
5.1.1  女性身高數據的回歸分析 ............................................................................... 217 
5.1.2   廣告投放及銷售額分析.................................................................................. 226 
5.2  基於Python的機器學習編程 ...................................................................................... 230 
5.2.1  威斯康星乳腺癌數據分析及自動診斷 ........................................................... 231 
5.2.2  不同國家蛋白質消費結構分析 ........................................... ............................ 238 
小結 ....................................................................................................................................... 244 
習題5 .................................................................................................................................... 245 

第6章  自然語言處理與圖像處理 學習指南 ............................................................................................................................... 247 
6.1  自然語言處理 .............................................................................................................. 248 
6.1.1   自然語言處理的常用包.................................................................................. 248 
6.1.2  自然語言處理的包導入與設置 ....................................................................... 248 
6.1.3  數據讀入 .......................................................................................................... 249 
6.1.4  分詞處理 ................................................................. ......................................... 249 
6.1.5  自定義詞彙 ...................................................................................................... 250 
6.1.6  停用詞處理 ...................................................................................................... 253 
6.1.7  詞性分佈分析 .................................................................................................. 254 
6.1.8  高頻詞分析 ...................................................................................................... 255 
6.1.9  詞頻統計 .......................................................................................................... 256 
6.1.10  關鍵詞分析 .................................................................................................... 258 
6.1.11  生成詞云 ........................................................................................................ 258 
6.2  人臉識別與圖像處理 .................................................................................................. . 260 
6.2.1  安裝並導入opencv-python包 ......................................................................... 260 
6.2.2  讀取圖像文件 .................................................................................................. 261
6.2.3  將RGB圖像轉換為灰度圖 ............................................................................. 261 
6.2.4  人臉檢測與繪製長方形 ................................................................................... 262 
6.2.5  圖像顯示 .......................................................................................................... 263 
6.2.6  圖像保存 .......................................................................................................... 263 
小結 ....................................................................................................................................... 263 
習題6 .................................................................................................................................... 263