數據科學家養成手冊 数据科学家养成手册

高揚，北京郵電大學計算機專業畢業，重慶工商大學管理科學與工程專業碩士研究生事業導師。10年以上IT行業工作經驗，3年海外工作經驗。2010年後一直專注於數據庫、大數據、數據挖掘、機器學習、人工智能等相關領域的研究。曾在金山軟件西山居任大數據架構師，負責大數據平台構架與搭建。現任歡聚時代資深大數據專家，負責大數據、深度學習等基礎技術與理論研究和實際產品的結合。

認知篇

第1章什麼是科學家2 
1.1從太陽東昇西落開始2 
1.1.1農曆2 
1.1.2公曆5 
1.1.3小結7 
1.2阿基米德愛洗澡？7 
1.3托勒密的秘密10 
1.4牛頓為什麼那麼牛11 
1.4.1蘋果和三大定律11 
1.4.2極限和微積分12 
1.5高斯——高，實在是高15 
1.6離經叛道的愛因斯坦17 
1.7本章小結20 

第2章什麼是科學23 
2.1科學之科23 
2.2邊界的迷茫23 
2.3科學之殤26 
2.4本章小結27 

第3章數據與數學28 
3.1什麼是數據28 
3.2數學的奧妙29 
3.2.1 《幾何原本》 29 
3.2.2 《九章算術》 30 
3.2.3高等數學34 
3.3本章小結37 

第4章數據科學的使命38 
4.1走近數據科學38 
4.1.1介質38 
4.1.2從信息到數據41 
4.1 .3數據科學的本質43 
4.2萬能的數據科學44 
4.2.1測量44 
4.2.2統計計算47 
4.2.3指標52 
4.3使命必達53 
4.3.1高效生產53 
4.3.2破除迷信56 
4.3.3目標一致與不一致57 
4.4本章小結58 

第5章矛盾的世界59 
5.1古希臘——學者高產的國度59 
5.2矛盾無處不在61 
5.3世界究竟是否可知63 
5.4薛定諤的“喵星人” 64 
5.5本章小結66 

第6章實驗和哲學68 
6.1樸 的認知方法68 
6.1.1眼見為實69 
6.1.2歸納與總結70 
6.2哲學靠譜嗎71 
6.3數學的盡頭是哲學72 
6.4本章小結73 

第7章辯證思維74 
7.1要不要辯證有多大區別74 
7.2誰對誰錯76 
7.3做到客觀不容易77 
7.4觀念的存弭79 
7.5本章小結82 

分化篇

第8章統計學86 
8.1數理統計鼻祖—阿道夫·凱特勒86 
8.2統計就是統共合計88 
8.3數據來源90 
8.4抽樣91 
8.5對照實驗91 
8.6誤差94 
8.6.1抽樣誤差94 
8.6.2非抽樣誤差96 
8.7概括性度量97 
8.7.1集中趨勢度量98 
8.7.2離散程度度量100 
8.7.3小結100 
8.8概率與分佈100 
8.8.1數學期望102 
8.8.2正態分佈103 
8.8.3其他分佈106 
8.9統計學與大數據107 

第9章信息論109 
9.1模擬信號109 
9.2信息量與信息熵110 
9.3香農公式111 
9.4數字信號112 
9.5編碼與壓縮113 
9.5.1無損壓縮114 
9.5.2有損壓縮117 
9.6本章小結126 

第10章混沌論127 
10.1洛倫茲在想什麼128 
10.2羅伯特·梅的養魚計劃129 
10.3有 限的大腦，無限的維130 
10.4謀殺上帝的拉普拉斯132 
10.5龐加萊不是省油的燈134 
10.6未知居然還能做預測137 
10.7本章小結137 

第11章算法學139 
11.1離散的世界139 
11.2成本的度量142 
11.3窮舉法——暴力破解143 
11.4分治法——化繁為簡152 
11.5回溯法——能省則省154 
11.6貪心法——局部最優155 
11.7迭代法——步步逼近156 
11.7.1牛頓法157 
11.7.2梯度下降法158 
11.7.3遺傳算法159 
11.8機器學習——自動歸納161 
11.8.1非監督學習162 
11.8.2監督學習164 
11.8.3強化學習176 
11.9神經網絡——深度學習178 
11.9.1神經元178 
11.9.2 BP神經網絡180 
11.9.3損失函數181 
11.9.4非線性分類183 
11.9.5激勵函數187 
11.9.6卷積神經網絡189 
11.9.7循環神經網絡191 
11.9.8小結194 
11.10本章小結195 

實踐篇

第12章數據採集198 
12.1數據的源頭198 
12.2日誌收集199 
12.2.1實時上傳200 
12.2.2延時上傳203 
12.2.3加密問題204 
12.2. 4壓縮 問題205 
12.2.5連接方式206 
12.2.6消息格式208 
12.2.7維度分解210 
12.3這只是不靠譜的開始211 
12.4本章小結212 

第13章數據存儲213 
13.1讀寫不對等213 
13.1.1讀多寫少214 
13.1.2讀少寫多214 
13.1.3讀寫都多215 
13.2進快還是出快216 
13.2.1最快寫入216 
13.2.2讀出最快218 
13.3文件還是數據庫218 
13.4要不要支持事務219 
13.5表分區和索引221 
13.5.1表分區222 
13.5.2索引222 
13.6穩定最重要225 
13.7安全性和副本226 
13.7.1 RAID 226 
13.7.2軟冗餘228 
13.8本章小結229 

第14章數據統計230 
14.1此“統計”恐非彼“統計” 230 
14.2要精確還是要簡潔234 
14.3統計是萬能的嗎235 
14.4注意性能237 
14.5本章小結238 

第15章數據建模239 
15.1模型是寶貴的財富240 
15.2量化是關鍵241 
15.3該算法出馬了241 
15.3.1統計學模型242 
15.3.2線性關係243 
15.3.3複雜的非線性關係243 
15.4算法的哲學244 
15.5本章小結245 

第16章數據可視化與分析24 7 
16.1看得見，摸得著247 
16.2顏色很重要247 
16.3別說佈局沒有用249 
16.3.1由上而下，由簡而繁249 
16.3.2總-分，分-總，總-分-總251 
16.3.3毗鄰吸引252 
16.4有圖就別要表格253 
16.5分析的內涵254 
16.5.1相關性分析255 
16.5.2預測分析256 
16.5.3其他分析257 
16.6有趣的統計應用257 
16.6.1不規則圖形的面積258 
16.6.2套出你的實話258 
16.6.3巧測圓周率259 
16.7仁者見仁，智者見智260 
16.8永恆的困惑261 
16.9本章小結263 

第17章數據決策264 
17.1決策就是“拍腦袋” 264 
17.2哪裡有物質，哪裡就有數據265 
17.2.1目的的統一265 
17.2.2數據勝於雄辯266 
17.3這是風險博弈267 
17.3.1性價比優先267 
17.3.2小迭代至上268 
17.3.3不要“輸不起” 268 
17.3.4留得青山在269 
17.4本章小結270 

第18章案例分析272 
18.1 K線圖裡的秘密272 
18.1.1什麼是市場273 
18.1.2誰在控制價格273 
18.1.3貨幣價格的形成276 
18.1.4零和博弈277 
18.1 .5漲跌都盈利278 
18.1.6價格的預測279 
18.1.7形態280 
18.1.8 K線圖週期282 
18.1.9造市商與點差283 
18.1.10科學分析284 
18.1.11小結317 
18.2數學能救命317 
18.2.1陰雲下的大西洋317 
18.2.2護航船隊的救星318 
18.2.3數學家的天下324 
18.2.4小結324 
18.3人人都能運籌帷幄325 

第19章與本書相關內容的問與答326 
後記333 

附錄A 335 
A.1 VMware Workstation的安裝335 
A.1.1 VMware簡介335 
A.1.2安裝準備工作335 
A.2 CentOS虛擬機的安裝338 
A.2.1下載DVD鏡像338 
A.2.2創建VMware虛擬機338 
A.3 Ubuntu虛擬機的安裝344 
A.4 Python語言簡介350 
A.4.1安裝Python 350 
A.4.2 Hello Python 350 
A.4.3行與縮進350 
A.4.4變量類型351 
A.4.5循環語句352 
A.4.6函數353 
A.4.7模塊354 
A.4.8小結354 
A.5 Scikit-learn庫簡介355 
A.6安裝Theano 356 
A.7安裝Keras 356 
A.8安裝MySQL 357 
A.9安裝MySQL-Python驅動358 
A.10 MT4平台簡介359 
參考文獻363