數據分析原理與實踐 : 基於經典算法及 Python 編程實現

朝樂門
一流本科課程“數據科學導論”負責人，數據科學50人，中國人民大學青年傑出學者；
中國計算機學會信息系統專委員會執行委員、全國高校人工智能與大數據創新聯盟專家委員會副主任；
核心期刊《計算機科學》執行編委、英文期刊Data Scienceand Informatics副主編；
榮獲高等學校科學研究優秀成果獎、IBM全球卓越教師獎、留學基金委-IBM中國優秀教師獎教金等多種獎勵30餘項；
曾出版我國*早系統闡述數據科學的重要專著之一《數據科學》。

第1章數據分析概述
1.1數據分析的基本類型
1.2數據分析與機器學習
1.2.1統計學與機器學習
1.2.2機器學習算法的類型
1.2.3機器學習中的算法、模型、
參數和超參數
1.2.4數據分析中的基礎算法
1.2.5數據分析中的高級算法
1.3數據分析的主要流程
1.4數據分析中的算法選擇
1.5數據分析中常用的Python包
1.5.1NumPy
1.5.2Pandas
1.5.3Matplotlib
1.5.4Seaborn
1.5.5statsmodels
1.5.6scikitlearn
1.5.7jieba
1.5.8OpenCV
1.5.9TensorFlow和PyTorch
1.6數據分析的注意事項
1.7數據分析的現狀與趨勢
1.8習題
1.9主要參考文獻及推薦閱讀書目
第2章關聯規則分析
2.1應用場景
2.2算法原理
2.2.1Apriori算法的假設
2.2.2Apriori算法的流程
2.3核心術語
2.3.1事務型數據
2.3.2項集
2.3.3支持度
2.3.4置信度
2.3.5提升度
2.3.6關聯規則
2.4Python編程實踐——購物車分析
2.4.1業務理解
2.4.2數據讀入
2.4.3數據理解
2.4.4數據預處理
2.4.5生成頻繁項集
2.4.6計算關聯度
2.4.7可視化
2.5重點與難點解讀
2.6習題
2.7主要參考文獻及推薦閱讀書目
第3章回歸分析
3.1應用場景
3.2算法原理
3.2.1基本思路
3.2.2評價方法
3.3核心術語
3.3.1回歸分析中常用的統計量
3.3.2特徵矩陣與目標向量
3.3.3過擬合與欠擬合
3.3.4高槓桿點、離群點和強影響點
3.4Python編程實踐
3.4.1線性回歸——女性身高與體重
數據分析
3.4.2多元回歸——廣告收入數據分析
3.4.3泊松回歸——航班數據分析
3.5重點與難點解讀
3.5.1參數解讀——線性回歸算法
3.5.2ZScore標準化
3.5.3方差
3.5.4相關係數
3.5.5泊松分佈
3.5.6L1和L2正則化
3.5.7閔氏距離、歐氏距離、曼哈頓距離
和切比雪夫距離
3.6習題
3.7主要參考文獻及推薦閱讀書目
第4章分類分析
4.1應用場景
4.2算法原理
4.1.1KNN
4.1.2貝葉斯分類
4.1.3支持向量機
4.1.4邏輯回歸
4.3核心術語
4.3.1偏差和方差之間的權衡
4.3.2學習曲線
4.3.3混淆矩陣
4.3.4ROC曲線與AUC面積
4.3.5貝葉斯理論
4.3.6核函數及核技巧
4.4Python編程實踐——病例自動診斷
分析
4.4.1使用KNN算法實現
4.4.2使用貝葉斯分類算法實現
4.4.3使用SVM算法實現
4.4.4使用邏輯回歸算法實現
4.5重點與難點解讀
4.5.1參數解讀——KNN、貝葉斯分類、
SVM和邏輯回歸算法
4.5.2數據標準化處理
4.5.3混淆矩陣及分類算法的評價指標
4.5.4最大似然估計
4.5.5判別模型與生成模型
4.5.6類別不平衡問題
4.5.7KD Tree與Ball Tree
4.5.8GridSearchCV及其原理
4.5.9GaussianNB、MultinomialNB和
BernoulliNB的區別
4.5.10LabelEncoder及其原理
4.6習題
4.7主要參考文獻及推薦閱讀書目
第5章聚類分析
5.1應用場景
5.2算法原理
5.2.1kmeans算法
5.2.2聚類效果的評價
5.3核心術語
5.4Python編程實踐——蛋白質消費特徵
分析
5.4.1業務理解
5.4.2數據讀入
5.4.3數據理解
5.4.4數據準備
5.4.5模型訓練
5.4.6模型評價
5.4.7模型調參
5.4.8模型預測
5.5重點與難點解讀
5.5.1參數解讀——kmeans算法
5.5.2kmeans 方法
5.5.3elkan方法
5.6習題
5.7主要參考文獻及推薦閱讀書目
第6章集成學習
6.1應用場景
6.2算法原理
6.2.1隨機森林
6.2.2XGBoost
6.3核心術語
6.4Python編程實踐——房屋價格預測
分析
6.4.1使用隨機森林算法實現
6.4.2使用XGBoost實現
6.5重點與難點解讀
6.5.1參數解讀——隨機森林和
XGBoost
6.5.2純度最大化
6.5.3數據標準化
6.5.4泰勒展開式
6.5.5集成學習中幾個注意事項
6.6習題
6.7主要參考文獻及推薦閱讀書目
第7章自然語言處理
7.1應用場景
7.2算法原理
7.2.1中文分詞
7.2.2詞袋模型
7.2.3Ngrams模型
7.2.4TFIDF算法
7.2.5文本規範化
7.2.6詞性標註
7.3核心術語
7.4Python編程實踐——2021年政府工作
報告分析
7.4.1業務理解
7.4.2數據讀入
7.4.3分詞處理
7.4.4添加自定義詞彙
7.4.5詞性標註
7.4.6停用詞處理
7.4.7詞性分佈分析
7.4.8高頻詞分析
7.4.9關鍵詞抽取
7.4.10繪製詞云圖
7.5重點與難點解讀
7.5.1NLTK的詞性標註
7.5.2NLTK的功能模塊
7.6習題
7.7主要參考文獻及推薦閱讀書目
第8章圖像處理
8.1應用場景
8.2算法原理
8.2.1建模階段
8.2.2檢測階段
8.3核心術語
8.4Python編程實踐——人臉檢測分析
8.4.1安裝並導入OpenCVpython包
8.4.2讀取圖像文件
8.4.3將RGB圖像轉換為灰度圖
8.4.4人臉檢測與矩陣標識
8.4.5圖像顯示
8.4.6圖像保存
8.5重點與難點解讀
8.5.1參數解讀——OpenCV
8.5.2AdaBoost算法
8.5.3基於OpenCV和CNN的圖像處理
的對比
8.5.4Haar特徵和LBP特徵的
對比分析
8.5.5AdaBoost算法和XGboost算法的
主要區別
8.6習題
8.7主要參考文獻及推薦閱讀書目
第9章深度學習
9.1應用場景
9.2算法原理
9.2.1全連接神經網絡及其缺點
9.2.2全連接神經網絡的改進及卷積
神經網絡的提出
9.2.3卷積神經網絡的基本思路
9.2.4CNN的整體流程
9.3核心術語
9.4Python編程實踐——手寫數字識別
分析
9.4.1業務理解
9.4.2數據讀入及理解
9.4.3數據準備
9.4.4數據理解
9.4.5定義CNN的學習框架
9.4.6執行CNN學習及模型訓練
9.4.7模型評價
9.4.8模型預測
9.5重點與難點解讀
9.5.1參數解讀——CNN算法
9.5.2機器學習中的性能與可解釋性
的矛盾
9.5.3隨機梯度下降及學習率
9.5.4Onehot encoding
9.5.5端到端的學習
9.5.6CNN與其他深度學習方法的區別
及聯繫
9.5.7CNN算法設置超參數的
經驗法則
9.6習題
9.7主要參考文獻及推薦閱讀書目
附錄習題參考答案