統計分析：從小數據到大數據

丁亞軍
自由職業者，兼CDA數據科學研究院研究員、電子工業出版社大數據專家委員會成員、學習路徑圖國際技術中心顧問、經管之家培訓中心講師。
研究方向：統計軟件與數據分析、市場調查研究、電商CRM數據挖掘、銀行申請與行為評分卡。

第1部分數據分析準備

第1章從業務到統計
1.1業務需求從哪來/ 002
1.1.1學習業務的最快途徑：閱讀運營報告/ 002
1.1.2當務之急：研究痛點/ 004
1.1.3數據分析之錨：未來戰略方向/ 005
1.1.4對數據分析“小白”的有益建議/ 005
1.2從小數據到大數據：數據體量與信息分佈/ 008
1.2.1實驗室：理論驗證/ 009
1.2.2問卷：理論驗證探索/ 011
1.2.3數據庫：業務驗證探索/ 012
1.2.4數據信息與統計模型/ 013
1.2.5算法應用：是否跨界/ 015
1.2.6算法特徵：角色/ 016
1.3數據分析流程的啟示/ 019
1.3.1假設：驗證與歸因/ 021
1.3.2小概率：黑天鵝的不確定/ 025
1.3.3抽樣技術：經濟是根本/ 026
1.3.4選擇模型：方法論/ 028
1.3.5顯著性判斷：可證偽/ 029
 

第2章變量角色與描述
2.1如何描述變量/ 032
2.1.1分類變量與連續變量的分界線/ 032
2.1.2分類變量及可視化/ 033
2.1 .3連續變量及可視化/ 037
2.2因變量的測量/ 040
2.2.1測量級別問題/ 040
2.2.2是否存在測量誤差/ 045
2.2.3誰會成為“主角” / 047
2.2.4 y的量化場景/ 050
2.3自變量的選擇/ 053
2.3.1驗證性：x的選擇/ 054
2.3.2探索性：x的選擇/ 054
 

第3章數據預分析
3.1填補缺失/ 056
3.1.1描述缺失數據：行、列、單元格/ 056
3.1.2缺失類型：隨機性/ 060
3.1.3小數據填補方案：精確性探討/ 061
3.1.4大數據填補方案：速度問題探討/ 068
3.2處理異常值/ 069
3.2.1單變量與雙變量異常/ 069
3.2.2無監督異常：聚類分析/ 070
3.2.3監督異常：回歸殘差分析/ 073
3.2.4小數據與大數據如何看待異常值/ 076
3.3消除共線性/ 080
3.3.1共線性及其危害/ 081
3.3.2小數據的方案：嶺回歸/ 082
3.3.3大數據方案：項目合併與逐步回歸/ 084
3.4內生性問題/ 088
3.4.1內生性及其危害/ 088
3.4.2問題核心：特徵選擇/ 089
3.4.3三駕馬車之一：數據庫的應對策略/ 094
3.5變量變換技術/ 102
3.5.1正態分佈變換：對數變換/ 102
3.5.2從0到1：老闆最喜歡的符號% / 104
3.5.3強異常值：秩的應用/ 105
3.5.4量綱：標準化變換/ 106
3.6編碼技術/ 107
3.6.1為什麼需要分箱化/ 107
3.6.2分箱技術要義：數據拐點/ 111
3.7避免過擬合/ 113
3.7.1導致過擬合：行列問題/ 113
3.7.2小數據為什麼不談過擬合/ 114
3.7.3避免過擬合：方法學/ 115
 

第２部分構建模型與修正技術

第4章線性回歸與統計家族
4.1差異性問題：方差分析/ 121
4.1.1差異的來源：主效應/ 121
4.1.2差異的來源：交互效應/ 128
4.1.3交互性解釋：交互效應圖製作/ 129
4.2結構性問題：回歸分析/ 131
4.2.1回歸分析流程/ 131
4.2.2相關的風向標作用：文氏圖/ 135
4.2.3偏相關的歸因：中介和調節/ 137
4.2.4回歸係數解釋：偏回歸圖/ 142
4.2.5如何相信R2 / 149
4.2.6以殘差看假設/ 152
4.2.7殘差信息的有和無/ 158
4.2.8小數據需求歸納：重結構輕預測/ 158
4.3算法進化REG：小數據專家的努力/ 159
4.3.1算法1.0：精確度結構/ 160
4.3.2算法2.0：精確度結構與預測/ 163
4.3.3算法3.0：速度預測/ 164
4.3. 4算法4.0：加速度/ 167
 

第5章Logistic回歸與統計家族
5.1預測性問題：Logistic回歸/ 168
5.1.1卡方的風向標作用/ 169
5.1.2不一樣的R2：預測分類表/ 170
5.1.3回歸係數解釋：or值與rr值/ 171
5.1.4修正技術：是x而不是y / 174
5.1.5大數據需求歸納：輕結構重預測/ 177
5.2算法進化Logistic：大數據與智能/ 178
5.2.1算法1.0：穩定性結構/ 178
5.2.2算法2.0：穩定性結構與預測/ 179
5.2.3算法3.0：速度預測/ 179
5.2 .4算法4.0：加速度/ 179
5.3算法3.0的榜樣：神經網絡/ 180
5.3.1神經網絡算法/ 180
5.3.2 DM算法預分析/ 183
5.3.3基於神經網絡的常規應用/ 185
 

第6章降維技術
6.1主成分回歸與壓縮技術/ 192
6.1.1四駕馬車：實驗室、問卷、數據庫、雲/ 192
6.1.2主成分算法：降維/ 192
6.1.3主成分與因子：誰應該有名字？/ 194
6.1.4主成分回歸：“回歸回歸”模式/ 196
6.2對應分析：一個市場調查案例/ 197
6.2.1案例背景介紹/ 197
6.2.2模型預分析/ 199
6.2.3構建模型：“廣義”雙標圖/ 203
6.2.4結論及營銷/ 214
 

第３部分模型應用與評估
 

第7章回歸類模型應用
7.1結構性問題：偏回歸係數/ 216
7.1.1單結構：偏的意義/ 216
7.1.2整體結構：條件規則/ 217
7.2預測性問題：估計值/ 217
7.2.1老樣本預測：內衍與市場細分/ 218
7.2.2新樣本預測：外推與潛在行為/ 219
7.3模型優劣與模型評價/ 219
7.3.1 R2變形記/ 219
7.3.2圖示R2：R2圖與ROC曲線/ 221
7.4模型優劣與業務評價/ 221
7.4.1小數據的標準：R2 / 221
7.4.2大數據的標準：老闆/ 222
 

第8章數據分析報告
8.1可視化圖形製作/ 223
8.1.1條形圖與折線圖/ 223
8.1.2頻數與分佈/ 223
8.1.3多變箱體圖/ 224
8.1.4散點圖與氣泡圖/ 225
8.2圖形製作與格式/ 227
8.2.1圖形製作：繪圖、顏色/ 227
8.2.2圖形模板製作與調用/ 229
8.3表格製作與格式/ 230
8.3.1表格製作：製表、格式/ 230
8.3.2表格模板製作與調用/ 232
8.3.3 OMS控制面板/ 234

附錄A數據集__