Python數據分析實戰 第2版

法比奧·內利（Fabio Nelli），IRBM科學園IT科學應用專家，曾為IBM、EDS等企業提供咨詢。目前從事Java應用開發，對接科學儀器和Oracle數據庫，生成數據和Web服務器應用，為研究人員提供實時分析結果。他還是Meccanismo Complesso社區的項目協調人。

章數據分析簡介1
1.1數據分析1
1.2數據分析師的知識範疇2
1.2.1計算機科學2
1.2.2數學和統計學3
1.2.3機器學習和人工智能3
1.2.4數據來源領域3
1.3理解數據的性質4
1.3.1數據到信息的轉變4
1.3.2信息到知識的轉變4
1.3.3數據的類型4
1.4數據分析過程4
1.4.1問題定義5
1.4.2數據抽取6
1.4.3數據準備6
1.4.4數據探索和可視化7
1.4.5預測建模7
1.4.6模型驗證8
1.4.7部署8
1.5定量和定性數據分析9
1.6開放數據9
1.7Python和數據分析10
1.8結論11
第2章Python世界簡介12
2.1Python——編程語言12
2.2Python2和Python314
2.2.1安裝Python15
2.2.2Python發行版15
2.2.3使用Python17
2.2.4編寫Python代碼18
2.2.5IPython22
2.3PyPI倉庫——Python包索引25
2.4SciPy29
2.4.1NumPy29
2.4.2pandas29
2.4.3matplotlib30
2.5小結30
第3章NumPy庫31
3.1NumPy簡史31
3.2NumPy安裝31
3.3ndarray：NumPy庫的心臟32
3.3.1創建數組33
3.3.2數據類型34
3.3.3dtype選項34
3.3.4自帶的數組創建方法35
3.4基本操作36
3.4.1算術運算符36
3.4.2矩陣積37
3.4.3自增和自減運算符38
3.4.4通用函數39
3.4.5聚合函數39
3.5索引機制、切片和疊代方法40
3.5.1索引機制40
3.5.2切片操作41
3.5.3數組疊代42
3.6條件和布爾數組44
3.7形狀變換44
3.8數組操作45
3.8.1連接數組45
3.8.2數組切分46
3.9常用概念48
3.9.1對象的副本或視圖48
3.9.2向量化48
3.9.3廣播機制49
3.10結構化數組51
3.11數組數據文件的讀寫52
3.11.1二進制文件的讀寫53
3.11.2讀取文件中的列表形式數據53
3.12小結54
第4章pandas庫簡介55
4.1pandas：Python數據分析庫55
4.2安裝pandas56
4.2.1用Anaconda安裝56
4.2.2用PyPI安裝56
4.2.3在Linux系統的安裝方法57
4.2.4用源代碼安裝57
4.2.5Windows模塊倉庫57
4.3測試pandas是否安裝成功57
4.4開始pandas之旅58
4.5pandas數據結構簡介58
4.5.1Series對象59
4.5.2DataFrame對象65
4.5.3Index對象71
4.6索引對象的其他功能72
4.6.1更換索引72
4.6.2刪除74
4.6.3算術和數據對齊75
4.7數據結構之間的運算76
4.7.1靈活的算術運算方法76
4.7.2DataFrame和Series對象之間的運算77
4.8函數應用和映射78
4.8.1操作元素的函數78
4.8.2按行或列執行操作的函數78
4.8.3統計函數79
4.9排序和排位次80
4.10相關性和協方差82
4.11NaN數據84
4.11.1為元素賦NaN值84
4.11.2過濾NaN84
4.11.3為NaN元素填充其他值85
4.12等級索引和分級85
4.12.1重新調整順序和為層級排序87
4.12.2按層級統計數據88
4.13小結88
第5章pandas：數據讀寫89
5.1I/OAPI工具89
5.2CSV和文本文件90
5.3讀取CSV或文本文件中的數據90
5.3.1用RegExp解析TXT文件92
5.3.2從TXT文件讀取部分數據94
5.3.3將數據寫入CSV文件94
5.4讀寫HTML文件96
5.4.1寫入數據到HTML文件96
5.4.2從HTML文件讀取數據98
5.5從XML讀取數據99
5.6讀寫MicrosoftExcel文件101
5.7JSON數據102
5.8HDF5格式105
5.9pickle——Python對象序列化106
5.9.1用cPickle實現Python對象序列化106
5.9.2用pandas實現對象序列化107
5.10對接數據庫108
5.10.1SQLite3數據讀寫108
5.10.2PostgreSQL數據讀寫110
5.11NoSQL數據庫MongoDB數據讀寫112
5.12小結113
第6章深入pandas：數據處理114
6.1數據準備114
合並115
6.2拼接118
6.2.1組合121
6.2.2軸向旋轉122
6.2.3刪除124
6.3數據轉換124
6.3.1刪除重覆元素125
6.3.2映射125
6.4離散化和麵元劃分129
6.5排序133
6.6字符串處理134
6.6.1內置的字符串處理方法134
6.6.2正則表達式135
6.7數據聚合137
6.7.1GroupBy137
6.7.2實例138
6.7.3等級分組139
6.8組疊代140
6.8.1鏈式轉換140
6.8.2分組函數141
6.9不錯數據聚合142
6.10小結145
第7章用matplotlib實現數據可視化146
7.1matplotlib庫146
7.2安裝147
7.3IPython和JupyterQtConsole147
7.4matplotlib架構148
7.4.1Backend層149
7.4.2Artist層149
7.4.3Scripting層（pyplot）150
7.4.4pylab和pyplot150
7.5pyplot151
7.6繪圖窗口152
7.6.1設置圖形的屬性153
7.6.2matplotlib和NumPy155
7.7使用kwargs157
7.8為圖表添加更多元素159
7.8.1添加文本159
7.8.2添加網格162
7.8.3添加圖例163
7.9保存圖表165
7.9.1保存代碼165
7.9.2將會話轉換為HTML文件167
7.9.3將圖表直接保存為圖片168
7.10處理日期值168
7.11圖表類型170
7.12線性圖170
7.13直方圖177
7.14條狀圖178
7.14.1水平條狀圖180
7.14.2多序列條狀圖181
7.14.3為pandasDataFrame生成多序列條狀圖182
7.14.4多序列堆積條狀圖183
7.14.5為pandasDataFrame繪制堆積條狀圖186
7.14.6其他條狀圖187
7.15餅圖187
7.16不錯圖表190
7.16.1等值線圖190
7.16.2極區圖192
7.17mplot3d工具集194
7.17.13D曲面194
7.17.23D散點圖195
7.17.33D條狀圖196
7.18多面板圖形197
7.18.1在其他子圖中顯示子圖197
7.18.2子圖網格199
7.19小結200
第8章用scikit-learn庫實現機器學習201
8.1scikit-learn庫201
8.2機器學習201
8.2.1有監督和無監督學習201
8.2.2訓練集和測試集202
8.3用scikit-learn實現有監督學習202
8.4Iris數據集202
8.5K-近鄰分類器207
8.6Diabetes數據集210
8.7線性回歸：最小平方回歸211
8.8支持向量機214
8.8.1支持向量分類215
8.8.2非線性SVC218
8.8.3繪制SVM分類器對Iris數據集的分類效果圖220
8.8.4支持向量回歸222
8.9小結224
第9章用TensorFlow庫實現深度學習225
9.1人工智能、機器學習和深度學習225
9.1.1人工智能225
9.1.2機器學習是人工智能的分支226
9.1.3深度學習是機器學習的分支226
9.1.4人工智能、機器學習和深度學習的關系226
9.2深度學習227
9.2.1神經網絡和GPU227
9.2.2數據可用：開源數據資源、物聯網和大數據228
9.2.3Python228
9.2.4Python深度學習框架228
9.3人工神經網絡229
9.3.1人工神經網絡的結構229
9.3.2單層感知器230
9.3.3多層感知器232
9.3.4人工神經網絡和生物神經網絡的一致性232
9.4TensorFlow233
9.4.1TensorFlow：Google開發的框架233
9.4.2TensorFlow：數據流圖233
9.5開始TensorFlow編程234
9.5.1安裝TensorFlow234
9.5.2JupyterQtConsole編程234
9.5.3TensorFlow的模型和會話234
9.5.4張量236
9.5.5張量運算238
9.6用TensorFlow實現SLP239
9.6.1開始之前239
9.6.2待分析的數據239
9.6.3SLP模型定義241
9.6.4學習階段243
9.6.5測試階段和正確率估計246
9.7用TensorFlow實現MLP（含一個隱含層）248
9.7.1MLP模型的定義249
9.7.2學習階段250
9.7.3測試階段和正確率計算253
9.8用TensorFlow實現多層感知器（含兩個隱含層）255
9.8.1測試階段和正確率計算259
9.8.2實驗數據評估260
9.9小結262
0章數據分析實例——氣象數據263
10.1待檢驗的假設：靠海對氣候的影響263
10.2數據源265
10.3用JupyterNotebook分析數據266
10.4分析預處理過的氣象數據269
10.5風向頻率玫瑰圖279
10.5小結283
1章JupyterNotebook內嵌
JavaScript庫D3284
11.1開放的人口數據源284
11.2JavaScript庫D3286
11.3繪制簇狀條狀圖290
11.4地區分佈圖293
11.52014年美國人口地區分佈圖296
11.6小結300
2章識別手寫體數字301
12.1手寫體識別301
12.2用scikit-learn識別手寫體數字301
12.3Digits數據集302
12.4使用估計器學習並預測304
12.5用TensorFlow識別手寫體數字306
12.6使用神經網絡學習並預測307
12.7小結310
3章用NLTK分析文本數據311
13.1文本分析技術311
13.1.1自然語言處理工具集311
13.1.2導入NLTK庫和NLTK下載器312
13.1.3在NLTK語料庫檢索單詞314
13.1.4分析詞頻315
13.1.5從文本選擇單詞317
13.1.6二元組和搭配318
13.2網絡文本數據的應用319
13.2.1從HTML文檔抽取文本320
13.2.2情感分析320
13.3小結322
4章用OpenCV庫實現圖像分析和視覺計算323
14.1圖像分析和計算視覺323
14.2OpenCV和Python324
14.3OpenCV和深度學習324
14.4安裝OpenCV324
14.5圖像處理和分析的類方法324
14.5.1開始之前324
14.5.2加載和顯示圖像325
14.5.3圖像處理326
14.5.4保存新圖327
14.5.5圖像的基本操作327
14.5.6圖像混合330
14.6圖像分析331
14.7邊緣檢測和圖像梯度分析332
14.7.1邊緣檢測332
14.7.2圖像梯度理論332
14.7.3用梯度分析檢測圖像邊緣示例333
14.8深度學習示例：面部識別337
14.9小結339
附錄A用LaTeX編寫數學表達式340
附錄B開放數據源350