零起點 Python 足彩大數據與機器學習實盤分析 零起点Python足彩大数据与机器学习实盘分析

何海群，網名：字王，CHRD前海智庫CTO，《中華大字庫》發明人，出版書籍20餘部，在人工智能、數據分析等方面具有20年一線專業經驗；zwPython開發平台、zwQuant量化軟件設計師，中國“Python創客”項目和“Python產業聯盟”發起人，國內首個Python量化課程：《Python量化實盤·魔鬼訓練營》創始人，極寬量化開源團隊的創始人。

1990年，發明國內第一個VR數據手套並獲得專利授權，被業界稱為“中國VR之父”；1992年，論文《人工智能與中文字型設計》入選《廣東青年科學家文集》，現已成為中文字庫行業三大基礎建模理論之一；1997年，出版國內首部網絡經濟專著《網絡商戰》；2008年，在北京聯合創辦國內首家4A級網絡公關公司，服務過200餘家國際五百強企業，被公關協會譽為：中國網絡公關事業的開創者與啟蒙者；2012年，發布國內首個自主研發的智能中文字庫設計軟件《x2ttf塗鴉造字》，全功能全免費公益軟件； 2016年，推出國內首套純python開源量化軟件：zwQuant，以及國內首個Tick級別開源金融大數據項目：zwDat金融數據包。研究成果有：“小數據”理論，快數據模型，黑天鵝算法，GPU超算工作站、MTRD多節點超算集群算法、“1+N”網絡傳播模型、人工智能“足彩圖靈法則”等。

第1章足彩與數據分析1 
1.1 “阿爾法狗”與足彩1 
1.2案例1-1：可怕的英國足球3 
1.3關於足彩的幾個誤區7 
1.4足彩·大事件8 
1.5大數據圖靈（足彩）原則10 
1.6主要在線彩票資源11 
1.7主要在線足彩數據源15 
1.8足彩基礎知識17 
1.9學習路線圖18 

第2章開發環境19 
2.1數據分析首選Python 19 
2.1.1大數據，why Python 19 
2.1.2入門簡單，功能強大21 
2.1.3難度降低90%，性能提高10倍23 
2.1.4 “零對象”編程模式24 
2.2用戶運行平台25 
2.3程序目錄結構26 
2.4 tfbDat足彩數據包27 
2.5 Spyder編輯器界面設置28 
2.5.1開發環境界面設置28 
2.5.2代碼配色技巧29 
2.5.3圖像顯示配置31 
2.5.4重劍無鋒32 
2.6 Notebook模式34 
2.7模塊庫控制面板36 
2.7.1模塊庫資源37 
2.7.2模塊庫維護更新37 
2.7.3系統關聯38 
2.8使用pip命令更新模塊庫39 
2.8.1 pip常用命令39 
2.8.2進入Python命令行模式41 
2.8.3 pip安裝模板41 
2.8.4 pip參數解釋42 
2.8.5 pip-install參數選項43 

第3章入門案例套餐45 
3.1案例3-1：第一次編程，“hello,ziwang” 45 
3.1.1簡單調試46 
3.1.2控制台復位47 
3.2案例3- 2：增強版“hello,ziwang” 47 
3.3案例3-3：列舉系統模塊庫清單49 
3.4案例3-4：常用繪圖風格50 
3.5案例3-5：Pandas常用繪圖風格52 
3.6案例3-6：常用顏色表cors 53 

第4章足彩量化分析系統55 
4.1功能簡介55 
4.1.1目錄結構56 
4.1.2 TFB安裝與更新56 
4.2 TFB主體框架57 
4.2.1模塊構成57 
4.2.2 Top-Base極寬基礎模塊庫57 
4.2.3 Top-Football極寬足彩專業模塊庫58 
4.2.4 tfbDat極寬足彩數據包59 
4.2.5量化系統模塊構成60 
4.2.6案例4-1：賠率文件切割61 
4.2.7案例4-2：批量切割數據文件64 
4.3 tfbDat數據結構66 
4.3.1案例4-3：tfb數據格式67 
4.3.2 gid基本比賽數據格式67 
4.3.3 xdat賠率數據格式69 
4.4足彩基本數據分析73 
4.4.1案例4-4：比賽數據基本圖表分析73 
4.4.2案例4-5：比賽數據進階 圖表分析77 
4.4.3案例4-6：比賽數據年度圖表分析80 
4.4.4案例4-7：比賽數據時間細分圖表分析81 
4.5勝、平、負數據分析88 
4.5.1案例4-8：勝、平、負數據分析88 
4.5.2 @修飾符88 
4.5.3勝、平、負分析90 
4.6賠率數據分析91 
4.6.1案例4-9：賠率分析91 
4.6.2擴充dr_gid_top10繪圖函數92 
4.6.3賠率對比93 

第5章常用數據分析工具96 
5.1 Pandas數據分析軟件96 
5.1.1 Pandas簡介96 
5.1.2案例5-1：Pandas常用統計功能99 
5.2科學計算104 
5.3人工智能105 
5.4 NLTK語義分析107 
5.5數據清洗統計分析109 
5.6數據可視化109 

第6章輔助工具114 
6.1性能優化114 
6.1.1 Numexpr矢量加速庫115 
6.1.2 Numba支持GPU的加速模塊庫115 
6.1.3 Blaze大數據優化模塊庫115 
6.1.4 Pyston加速模塊116 
6.1.5 PyPy加速模塊116 
6.1.6 Cython 116 
6.1.7其他優化技巧117 
6.2網頁信息抓取117 
6.2.1 Requests人性化的網絡模塊118 
6.2.2 Scrapy網頁爬蟲框架118 
6.2.3 Beautiful Soup 4 119 
6.3其他工具模塊120 
6.3.1 Logging日誌模塊120 
6.3.2 Debug調試工具121 
6.3.3 re正則表達式121 
6.3.4並行編程122 
6.4網絡輔助資源123 
6.5 arrow優雅簡捷的時間模塊庫125 
6.5. 1案例6-1：arrow入門案例126 
6.5.2創建arrow時間對象128 
6.5.3創建時間戳128 
6.5.4 arrow屬性129 
6.5.5 replace替換和shift位移130 
6.5.6 format格式化參數130 
6.5. 7時間轉換131 
6.5.8短命令131 
6.5.9人性化131 
6.5.10範圍和跨度132 
6.5.11工廠模式133 
6.5.12 Token特殊字符133 

第7章網絡足彩數據抓取135 
7.1 500彩票網站數據接口的優勢135 
7.1.1案例7-1：抓取賠率數據網頁136 
7.1.2網頁數據實戰操作技巧139 
7.2網頁解析的心靈雞湯141 
7.2.1 BS4四大要素三缺一142 
7.2.2 Tag標籤對象142 
7.2.3案例7-2：Tag標籤對象142 
7.2.4案例7-3：Tag標籤對像數據類型145 
7.2.5 NavigableString導航字符串149 
7.2.6 BeautifulSoup複合對象149 
7.2.7 Comment註釋對象150 
7.2.8案例7-4：BS4查 匹配功能150 
7.2.9 BS4節點遍歷功能154 
7.3足彩基本數據抓取155 
7.3.1案例7-5：分析網頁比賽數據155 
7.3.2案例7-6：提取網頁比賽數據157 
7.3.3 gid比賽基本數據結構159 
7.3.4案例7-7：提取比賽得分161 
7.3.5案例7-8：提取球隊id編碼164 
7.3.6案例7-9：抓取歷年比賽數據167 
7.3.7案例7-10 ：流程圖工具與Python 171 
7.3.8實盤技巧172 
7.3.9案例7-11：進程池並發運行174 
7.4批量抓取足彩網頁數據實盤教程177 
7.4.1案例7-12：批量抓取賠率數據177 
7.4.2 fb_gid_getExt擴展網頁下載函數178 
7.4.3 bars節點數據包與pools彩票池178 
7.4.4抓取擴展網頁180 
7.5足彩賠率數據抓取181 
7.5.1 gid與賠率數據網頁181 
7.5.2案例7-13：提取賠率數據184 
7.5.3賠率數據與結構化數據186 
7.5.4瀑布流數據網頁與小數據理論189 

第8章足彩數據回溯測試191 
8.1 TFB系統構成192 
8.1 .1 TFB系統模塊結構192 
8.1.2 Top-Base極寬基礎模塊庫192 
8.1.3 T op-Football極寬足彩專業模塊庫193 
8.2實盤數據更新194 
8.2.1案例8-1：實盤數據更新194 
8.2.2實盤要點：冗餘195 
8.2.3實盤要點：耐心196 
8.2. 4實盤要點：數據文件197 
8.2.5 main_get函數197 
8.3變量初始化199 
8.3.1全局變量與類定義201 
8.3.2彩票池內存數據庫202 
8.3.3案例8-2：內存數據庫&數據包204 
8.4回溯測試205 
8.4.1案例8-3：回溯206 
8.4.2 main_bt回溯主入口207 
8.4.3案例8-4：實盤回溯209 
8.4.4彩票池與統計池211 
8.4.5 poolTrd下單交易數據212 
8.4.6 poolRet回報記錄數據213 
8.4.7實盤足彩推薦分析214 
8.4.8實盤回報分析214 
8.4.9全數據分析與足彩數據集215 
8.5 bt_main回溯主函數216 
8.5.1 bt_1dayMain單日回溯函數218 
8.5.2賠率數據合併函數219 
8.5.3單日回報分析函數220 
8.5.4單日回報分析221 
8.5.5單場比賽回報分析223 
8.6 sta01策略的大數據分析224 
8.6.1一號策略函數226 
8.6.2超過100%的盈利策略與秘訣227 
8.6 .3統計分析228 
8.6.4回溯時間測試229 
8.6.5 bt_main_ret總回報分析230 

第9章參數智能尋優232 
9.1一元參數尋優233 
9.1.1案例9-1：一號策略參數尋優233 
9.1 .2一元測試函數234 
9.1.3測試結果數據格式236 
9.1.4案例9-2：一元參數圖表分析237 
9.2策略函數擴展241 
9.2.1擴展一號策略函數241 
9.2.2案例9-3：一號擴展策略242 
9.2.3案例9-4：sta10策略244 
9.3二元參數尋優246 
9.3.1案例9-5：sta10參數尋優246 
9.3.2案例9-6：二元參數圖表分析248 
9.4策略310準多因子策略252 
9.4.1案例9-7：數據預處理254 
9.4.2案例9-8：策略310參數尋優257 
9.4.3案例9-9：策略310圖表分析259 
9.4.4案例9-10：策略310 264 

第10章Python人工智能入門與實踐266 
10.1從忘卻開始266 
10.2 Iris經典愛麗絲269 
10.2.1案例10-1：經典愛麗絲270 
10.2.2案例10-2：愛麗絲進化與矢量化文本272 
10.3 AI操作流程273 
10.3.1機器學習與測試數據集合274 
10.3.2機器 習運行流程274 
10.3.3經典機器學習算法275 
10.3.4黑箱大法275 
10.3.5數據切割函數276 
10.3.6案例10-3：愛麗絲分解277 
10.3.7案例10-4：線性回歸算法281 

第11章機器學習經典算法案例（上） 286 
11.1線性回歸286 
11.2邏輯回歸算法293 
11.2.1案例11-1：邏輯回歸算法294 
11.3樸素貝葉斯算法296 
11.3.1案例11-2：貝葉斯算法297 
11.4 KNN近鄰算法299 
11.4.1案例11-3：KNN近鄰算法301 
11.5隨機森林算法302 
11.5.1案例11-4：隨機森林算法306 

第12章機器學習經典算法案例（下） 308 
12.1決策樹算法308 
12.1.1案例12-1：決策樹算法310 
12.2 GBDT迭代決策樹算法311 
12.2.1案例12-2：GBDT迭代決策樹算法312 
12.3 SVM向量機313 
12.3.1案例12-3：SVM向量機算法315 
12.4 SVM-cross向量機交叉算法316 
12.4.1案例12-4：SVM-cross向量機交叉算法317 
12.5神經網絡算法318 
12.5.1經典神經網絡算法319 
12.5.2 Sklearn神經網絡算法320 
12.5.3人工智能 學習路線圖320 
12.5.4案例12-5：MLP神經網絡算法321 
12.5.5案例12-6：MLP_reg神經網絡回歸算法323 

第13章機器學習組合算法326 
13.1 CCPP數據集326 
13.1.1案例13- 1：CCPP數據集327 
13.1.2案例13-2：CCPP數據切割328 
13.1.3數據切割函數330 
13.1.4案例13-3：讀取CCPP數據集331 
13.1.5數據讀取函數333 
13.2機器學習統一接口函數334 
13.2.1案例13-4：機器學習統一接口334 
13.2.2統一接口函數336 
13.2.3機器學習算法代碼338 
13.2.4效果評估函數339 
13.2.5常用評測指標340 
13.3批量調用機器學習算法341 
13.3.1案例13-5：批量調用341 
13.3.2批量調用算法模型344 
13.4一體化調用345 
13.4.1案例13-6：一體化調用345 
13.4.2一體化調用函數346 
13.5模型預製與保存348 
13.5.1案例13-7：儲存算法模型348 
13.5.2模型保存函數350 
13.5.3模型預測函數350 
13.5.4案例13-8：批量儲存算法模型351 
13.5.5批量模型儲存函數353 
13.5.6案例13-9 批量加載算法模型353 
13.6機器學習組合算法357 
13.6.1案例13-10：機器學習組合算法357 
13.6.2機器學習組合算法函數359 

第14章足彩機器學習模型構建361 
14.1數據整理361 
14.1.1案例14-1：賠率數據合成362 
14.1.2案例14-2：按年切割賠率數據365 
14.1.3案例14-3：累計切割賠率數據365 
14.2年度足彩賠率模型366 
14.2.1案例14 -4：2016年度足彩賠率模型組367 
14.2.2案例14-5：年度多字段足彩賠率模型組370 
14.3累計足彩賠率模型373 
14.3.1案例14-6：累計2016足彩賠率模型組373 
14.3.2案例14-7：累計多字段足彩賠率模型組376 
14.3.3足彩算法模型文件379 

第15章足彩機器學習模型驗證381 
15.1年度賠率模型驗證381 
15.1.1案例15-1：年度賠率模型驗證381 
15.1.2案例15-2：多字段年度賠率模型驗證383 
15.2累計賠率模型驗證385 
15.2.1案例15-3：累計賠率模型驗證385 
15.2.2案例15-4 ：多字段累計賠率模型驗證386 
15.3年度組合模型驗證388 
15.3.1案例15-5：年度組合模型驗證388 
15.3.2案例15-6：多字段年度組合模型驗證391 
15.3.3案例15-7：全字段年度組合模型驗證391 
15.3 .4年度組合模型測試數據對比分析392 
15.4累計組合模型驗證393 
15.4.1案例15-8：年度組合模型驗證393 
15.4.2案例15-9：多字段年度組合模型驗證394 
15.4.3累計組合模型測試數據對比分析394

 
第16章結果數據分析397 
16.1神秘的df9 397 
16.1.1案例16-1：調試模式397 
16.1.2神秘的df9結果數據變量400 
16.2盈利率分析402 
16.2.1案例16-2 ：盈利率計算402 

第17章機器學習足彩實盤分析407 
17.1回溯主入口408 
17.1.1案例17-1：策略sta01 409 
17.1.2結果文件解讀409 
17.1.3數據字段分析411 
17.2機器學習與回溯分析412 
17.2.1案例17-2：Log回歸策略足彩分析414 
17.2.2 Log回歸策略函數415 
17.2.3案例17-3：30天Log回歸策略足彩分析418 
17.2.4數據文件分析420 
17.2.5 足彩推薦421