數據採集與預處理

林子雨 博士，国内高校大数据教师，厦门大学计算机科学系副教授，厦门大学信息学院实验教学中心主任，厦门大学数据库实验室负责人，中国高校“数字教师”提出者和建设者。2013年开始在厦门大学开设大数据课程，建设了国内高校大数据课程公共服务平台，平台累计网络访问量超过1000万次，成为全国高校大数据教学品牌，并荣获“2018年福建省教学成果二等奖”和“2018年厦门大学教学成果特等奖”，主持的课程“大数据技术原理与应用”获评“2018年国家精品在线开放课程”和“2020年国家级线上一流本科课程”。

第 1 章概述.

1.1　數據

1.1.1　數據的概念.

1.1.2　數據類型

1.1.3　數據的組織形式.

1.1.4　數據的價值

1.1.5　數據爆炸.

1.2　數據分析過程.

1.3　數據採集與預處理的任務

1.4　數據採集

1.4.1　數據採集的概念

1.4.2　數據採集的三大要點

1.4.3　數據採集的數據源.

1.4.4　數據採集方法.

1.5　數據清洗

1.5.1　數據清洗的應用領域

1.5.2　數據清洗的實現方式.

1.5.3　數據清洗的內容.

1.5.4　數據清洗的註意事項

1.5.5　數據清洗的基本.流.程.

1.5.6　數據清洗的評價標.

1.6　數據集成.

1.7　數據轉換.

1.7.1　數據轉換策略.

1.7.2　平滑處理

1.7.3　規範化處理.

1.8　數據脫敏.

1.8.1　數據脫敏原則.

1.8.2　數據脫敏方法.

1.9　本章小結.

1.10　習題

第　2 章 大數據實驗環境搭建.

2.1　Python 的安裝和使用.

2.1.1　Python 簡介

2.1.2　Python 的安裝

2.1.3　Python 的基本使用方法

2.1.4　Python 基礎語法知識

2.1.5　Python 第三方模塊的安裝。

2.2　JDK 的安裝.

2.3　MySQL 數據庫的安裝和使用

2.3.1　關系數據庫

2.3.2　關系數據庫標準語言SQL

2.3.3　安裝MySQL

2.3.4　MySQL 數據庫的使用方法

2.3.5　使用 Ppython操作MySQL數據庫

2.4　Hadoop的安裝和使用

2.4.1　Hadoop簡介

2.4.2分佈式系統HDFS

2.4.3　Hadoop安裝

2.4.4　Hadoop的基本使用方法

第　3 章網絡數據採集.

3.1　網絡爬蟲概述.

3.1.1　什麽是網絡爬蟲

3.1.2網絡爬蟲的類型

3.1.3反爬機制

3.2　網頁基礎知識

3.2.1超文本和HTML

3.2.2　HTTP.

3.3　用 Python 實現HTTP請求

3.3.1　urllib模塊

3.3.2　urllib3 模塊.

3.3.3　requests 模塊.

3.4　定製 request.s.

3.4.1　傳遞 URL參數，

3.4.2　定製請求頭,

3.4.3　網絡超時

3.5　解析網頁

3.5.1　BeautifulSoup 簡介.

3.5.2　BeautifulSoup 四大對象

3.5.3　遍歷文件樹

3.5.4　搜索文檔樹

3.5.5　CSS選擇器

3.6　綜合實例

實例1:採集網頁數據保存到文本

實例2:採集網頁數據保存到MYSQL數據庫

3.7　Scrapy 框架

3.7.1　Scrapy 框架概述

3.7.2　XPath 語言

3.7.3　Scrapy 框架應用實例,

3.8　本章小結

3.9　習題.

實驗　2 網絡爬蟲初級實踐

第　4 章分佈式消息系統 afu.a .

4.1　Kafka 簡介

4.1.1　Kafk的特性

4.1.2　Kafka 的應用場景.

4.1.3　Kafka 的消息傳遞模式….

4.2　Kafka 在大數據生態系統中的作-用

4.3　Kafka 與 Flume 的區別與聯

4.4　Kafka 相關概念

4.5　Kafka 的安裝和使用

4.5.1　安裝Kafk

4.5.2　使用 Kafka

4.6　使用 Python 操作 Kafka

4.7　Kafka 與 MysQL 的組合使用，

4.8　本章小結

4.9　習題

實驗　3 熟悉 Kafka 的基本使用方法

第　5 章日誌採集統Flume

5.1　Flume 簡介.

5.2　Flume 的安裝和使用

5.2.1　Flume 的安裝.

5.2.2　Flume 的使用.

5.3　Flume 和 Kafka 的組合使用.

5.4　採集日誌文件到 HDFS.

5.4.1　採集目錄到 HDFS

5.4.2　採集文件到 HDFS.

5.5　採集 MySQL 數據到 HDFS

5.5.1　準備工作

5.5.2　創建 MysQL 數據庫.

5.6　本章小結.

5.7　習題

實驗　4熟悉 Flume 的基本使用方法

第　6 章 數據倉庫中的數據集成

6.1數據倉庫的概念

6.1.1傳統的數據倉庫

6.1.2　實時主動數據倉庫

6.2　數據集成

6.2.1　數據集成方式

6.2.2　數據分發方式

6.2.3　數據集成技術

6.3　ETL.

6.3.1　ETL 簡介.

6.3.2　ETL基本模塊

6.3.3　ETL工具

6.4　CDC .

6.4.1　CDC 的特性

6.4.2　CDC 的組成

6.4.3　CDC 的應用場景

6.4.4　CDC 需要考慮的問題

6.5　本章小結

6.6　習題

第7章　ETL工具的Kettle

7.1　Kettle 的基本概念！

7.2　Kettle 的基本功能

7.3　安裝 Kettle. .

7.4　數據抽取

7.4.1　把文本文件導入Excel 文件

7.4.2　把文本文件導入 MySQL 數據庫

7.4.3　把 Excel 文件導入MySQL數據庫

7.5　數據清洗與轉換

7.5.1　使用 Kettle 實現數據排序

7.5.2　在 Kettle 中用正則表達式清洗數據

7.5.3　使用 Kettle 去除缺失值

7.5.4　使用 Kettle 轉化 MySQL 數據庫中的數據

7.6　數據加載

7.6.1　把本地文件加載到 HDFS 中

7.6.2　把 HDFS 文件加載到 MySQL 數庫

7.7　本章.小結.

7.8　習題

實驗　5 熟悉 Kettle 的基本使用方法

第　8 章 使用 pandas 進行數據清洗

8.1　NumPy 的基本使用方法

8.1.1　數組創建

8.1.2數組索引和切片

8.1.3　數組運算

8.2　pandas的數據結構

8.2.2　Series

8.2.2　DataFrame

8.2.3索引對象

8.3　pandas的基本功能

8.3.1　重新索引.

8.3.2　丟棄指定軸上的項

8.3.3　索引、選取和濾.

8.3.4　算術運算.

8.3.5　DataFrame 和 Series 之間的運算.

8.3.6　函數應用和映射

8.3.7　排序和排名

8.3.8　分組

8.3.9　shape函數

8.3.10　info()函數

8.3.11　cut()函數

8.4　匯總和描述統計

8.4.1　與描述統計相關的函數

8.4.2　唯一值、值計數以及成員資格,

8.5　處理缺失數據

8.5.1　檢查缺失值

8.5.2　清理/填充缺失值.

8.5.3　排除缺少的值

8.6　綜合實例

8.6.1　Matplotlib 的使用方法

8.6.2　實例 1：對一個數據集進行基本操作

8.6.3　實例 2:百度搜索指數分析

8.6.4　實例 3:電影評分數據分析

8.6.5　實例 4:App行為數據預處理

8.7　本章小結

8.8　習題

實驗6　pandas數據清洗初級實踐

參考文獻