數據有道（數據分析+圖論與網絡+微課+Python編程）

緒論 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1

 

 

第一板塊 綜述??????????????????????????????????????????????????????5

 

第 1章   萬物皆數 ???????????????????????????????????????????????????????????????????????????????????????????????????????????? 7

1.1    萬物皆數：從矩陣說起 8

1.2    數據分類：定量 ( 連續、離散 ) 、定性 ( 定類、定序 )   14

1.3    機器學習：四大類算法   17

1.4    特徵工程：提取、轉換、構建數據   21

 

第2板塊 數據處理??????????????????????????????????????????????????????23

 

第 2章   缺失值 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????? 25

2.1    是不是缺了幾個數？   26

2.2    可視化缺失值位置   30

2.3    處理缺失值：刪除   34

2.4    單變量插補   37

2.5    k 近鄰插補   39

2.6    多變量插補   41

 

第 3章   離群值 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????? 43

3.1    這幾個數有點不合群？   44

3.2    直方圖：單一特徵分佈   46

3.3    散點圖：成對特徵分佈   49

3.4 QQ 圖：分位數 - 分位數   51

3.5 箱型圖：上界、下界之外樣本   54

3.6 Z 分數：樣本數據標準化   55

3.7 馬氏距離和其他方法   57

 

第4章  數據轉換   63

4.1 數據轉換   64

4.2 中心化：去均值   65

4.3 標準化：Z 分數   69

4.4 歸一化：取值在 0 和 1 之間   71

4.5 廣義冪轉換   72

4.6 經驗累積分佈函數   74

4.7 插值   79

 

第 5章  數據距離   91

5.1   怎麽又聊距離？   92

5.2   歐氏距離：最常見的距離   94

5.3   標準化歐氏距離：考慮標準差   96

5.4   馬氏距離：考慮標準差和相關性   99

5.5   城市街區距離：L1  範數   101

5.6   切比雪夫距離：L ∞範數   102

5.7   閔氏距離：Lp  範數   103

5.8   距離與親近度   104

5.9   成對距離、成對親近度   108

5.10  協方差矩陣，為什麽無處不在？   110

 

第3板塊 時間數據??????????????????????????????????????????????????????127 

 

 

第6  時間數據   129

6.1 時間序列數據   130

6.2 處理時間序列缺失值   133

6.3 從時間數據中發現趨勢   135

6.4 時間序列分解   138

6.5 時間數據講故事   143

 

第 7章  移動窗口   157

7.1 移動窗口   158

7.2 移動波動率   162

7.3 相關性   165

7.4 回歸系數   166

7.5    指數加權移動平均   167

7.6    EWMA 波動率   169

 

第 8章   隨機過程入門 ??????????????????????????????????????????????????????????????????????????????????????????????? 175

8.1    布朗運動：來自花粉顆粒無規則運動   176

8.2    無漂移布朗運動   180

8.3    漂移布朗運動：確定 + 隨機   182

8.4    具有一定相關性的布朗運動   185

8.5    幾何布朗運動   188

8.6    股價模擬   190

8.7    相關股價模擬   193

 

第 9章   高斯過程 ??????????????????????????????????????????????????????????????????????????????????????????????????????? 197

9.1    高斯過程原理   198

9.2    協方差矩陣  202

9.3    分塊協方差矩陣  206

9.4    後驗  206

9.5    噪聲  210

9.6    核函數   211

 

第4板塊 圖論基礎??????????????????????????????????????????????????????223

 

第 10章    圖論入門   225

10.1    什麽是圖？   226

10.2    圖和幾何  233

10.3    圖和矩陣  234

10.4    圖和機器學習   236

10.5    NetworkX  241

 

第 11章   無向圖 ???????????????????????????????????????????????????????????????????????????????????????????????????????? 243

11.1    無向圖：邊沒有方向   244

11.2     自環：節點到自身的邊  248

11.3    同構：具有等價關系的圖   250

11.4    多圖：同一對節點存在不止一條邊  253

11.5    子圖：圖的一部分   254

11.6    有權圖：邊自帶權重  256

 

第 12章   有向圖 ???????????????????????????????????????????????????????????????????????????????????????????????????????? 261

12.1    有向圖：邊有方向 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 262

12.2    出度、入度   265

12.3    鄰居：上家、下家   266

12.4    有向多圖：平行邊   267

12.5    三元組：三個節點的 16 種關系  269

12.6    NetworkX 創建圖   273

 

第 13章   圖的可視化 ???????????????????????????????????????????????????????????????????????????????????????????????? 281

13.1    節點位置  282

13.2    節點裝飾  286

13.3    邊裝飾  289

13.4    分別繪制節點和邊   291

 

第5板塊 圖的分析??????????????????????????????????????????????????????299

 

第 14章   常見圖 ??????????????????????????????????????????????????????????????????????????????????????????????????????? 301

14.1 常見圖類型   302

14.2  完全圖   303

14.3 二分圖    307

14.4 正則圖 310

14.5 樹 311

14.6  柏拉圖圖  315

 

第 15章   從路徑說起 ???????????????????????????????????????????????????????????????????????????????????????????????? 321

15.1    通道、跡、路徑、迴路、環  322

15.2    常見路徑問題  333

15.3    最短路徑問題  334

15.4    歐拉路徑  339

15.5    哈密爾頓路徑  339

15.6    推銷員問題   340

 

第 16章   連通性 ??????????????????????????????????????????????????????????????????????????????????????????????????????? 343

16.1    連通性  344

16.2    連通分量  349

16.3    強連通、弱連通：有向圖   352

16.4    橋  353

 

第 17章   圖的分析 ???????????????????????????????????????????????????????????????????????????????????????????????????? 357

17.1    度分析  358

17.2    距離度量  363

17.3    中心性  372

17.4    圖的社區  380

 

第6板塊  圖與矩陣    ?????????????????????????????????????????????????????? 383

 

第 18章   從圖到矩陣 ??????????????????????????????????????????????????????????????????????????????????????????????? 385

18.1    無向圖到鄰接矩陣   386

18.2    有向圖到鄰接矩陣   397

18.3    傳球問題  399

18.4    鄰接矩陣的矩陣乘法  406

18.5    特徵向量中心性  409

 

第 19章   成對度量矩陣 ??????????????????????????????????????????????????????????????????????????????????????????? 413

19.1    成對距離矩陣  414

19.2    親近度矩陣：高斯核函數   420

19.3    相關性系數矩陣  424

 

第 20章   轉移矩陣 ??????????????????????????????????????????????????????????????????????????????????????????????????? 429

20.1  再看鄰接矩陣   430

20.2  轉移矩陣：可能性  435

20.3  有向圖     436

20.4  馬爾可夫鏈   442

 

第 21章   其他矩陣 ??????????????????????????????????????????????????????????????????????????????????????????????????? 449

21.1    圖中常見矩陣  450

21.2    關聯矩陣  450

21.3    度矩陣  462

21.4    拉普拉斯矩陣  464

 

第7板塊  圖論實踐 ???????????????????????????????????????????????????????????????????????????????????????????????????? 475

 

第 22章   樹 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????? 477

22.1    樹  478

22.2    最近共同祖先  484

22.3    最小生成樹   485

22.4    決策樹：分類算法   487

22.5    層次聚類  490

22.6    樹形圖：聚類算法   496

 

第 23章   數據聚類 ??????????????????????????????????????????????????????????????????????????????????????????????????? 499

23.1    數據聚類   500

23.2    距離矩陣   502

23.3    相似度   504

23.4    無向圖   506

23.5    拉普拉斯矩陣   507

23.6    特徵值分解   509

 

第 24章    PageRank算法 ?????????????????????????????????????????????????????????????????????????????????????????? 513

24.1    PageRank 算法   514

24.2    線性方程組   522

24.3    冪迭代   526

 

第 25章   社交網絡分析 ??????????????????????????????????????????????????????????????????????????????????????????? 533

25.1    社交網絡分析   534

25.2    度分析   536

25.3    圖距離   538

25.4    中心性   542

25.5    社區結構   547