Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略
林子軒
- 出版商: 深智
- 出版日期: 2021-11-20
- 定價: $700
- 售價: 6.6 折 $462
- 語言: 繁體中文
- 頁數: 384
- 裝訂: 平裝
- ISBN: 9860776520
- ISBN-13: 9789860776522
-
相關分類:
Python、程式語言、大數據 Big-data
-
其他版本:
Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略, 2/e
銷售排行:
🥈 2021/11 繁體中文書 銷售排行 第 2 名
買這商品的人也買了...
-
無瑕的程式碼－敏捷軟體開發技巧守則 + 番外篇－專業程式設計師的生存之道 (雙書合購)$940$700 -
為你自己學 Git$500$390 -
金融科技實戰：Python 與量化投資$650$507 -
無瑕的程式碼－整潔的軟體設計與架構篇 (Clean Architecture: A Craftsman's Guide to Software Structure and Design)$580$452 -
Deep learning 深度學習必讀 - Keras 大神帶你用 Python 實作 (Deep Learning with Python)$1,000$790 -
矽谷資深演算法大師：帶你學深度學習推薦系統 (附8頁彩頁)$780$616 -
2021 從大數據到人工智慧：理論及 Spark 實作 (熱銷版)$580$493 -
$454Python 機器學習系統構建 (原書第3版) -
Python : 股票演算法交易實務 147個關鍵技巧詳解, 2/e$580$452 -
矽谷工程師教你 Kubernetes：史上最全 CI/CD 中文應用指南（iT邦幫忙鐵人賽系列書）$600$468 -
資料科學的建模基礎 : 別急著 coding！你知道模型的陷阱嗎？$599$473 -
架構師帶你做敏捷測試：在真正專案中應用$720$612 -
跟著 Docker 隊長，修練 22天就精通 - 搭配 20小時作者線上教學，無縫接軌 Microservices、Cloud-native、Serverless、DevOps 開發架構$880$695 -
資料科學的統計實務 : 探索資料本質、扎實解讀數據，才是機器學習成功建模的第一步$599$473 -
Python 不廢話，一行程式碼｜像高手般寫出簡潔有力的 Python 程式碼 (Python One-Liners: Write Concise, Eloquent Python Like a Professional)$450$355 -
機器學習的統計基礎 : 深度學習背後的核心技術$680$537 -
最速網頁開發：用 Go Web 一手建立高能效網站系統$880$695 -
超越多顯卡多機器：分散式機器學習超速實戰$1,000$790 -
Python for Excel｜自動化與資料分析的現代開發環境 (Python for Excel: A Modern Environment for Automation and Data Analysis)$580$458 -
Python 資料分析必備套件！Pandas 資料清理、重塑、過濾、視覺化 (Pandas 1.x Cookbook, 2/e)$780$616 -
Python 出神入化：Clean Coder 才懂的 Pythonic 技法，為你的程式碼畫龍點睛！ (Clean Code in Python, 2/e)$720$562 -
圖解資料庫的工作原理$450$355 -
集成式學習：Python 實踐！整合全部技術，打造最強模型 (Hands-On Ensemble Learning with Python: Build highly optimized ensemble machine learning models using scikit-learn and Keras)$750$593 -
超高效！Python × Excel 資料分析自動化：輕鬆打造你的完美工作法！$600$300 -
給全端工程師的職涯生存筆記：從「履歷×面試×職場」打造無可取代的軟實力 (iThome鐵人賽系列書)$600$468
相關主題
商品描述
Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略
本書獨家解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 side project、作品、產品。讀完本書，你將學會分散式爬蟲、rabbitmq、api、MySQL 資料庫、壓力測試、docker、CICD、雲端、traefik、redash 視覺化等，本書是一本集大成的作品。
分享在 Github 獲得 1,500 stars 的大數據 side project，並幫助讀者從 0 開始，打造專屬個人的大數據 side project。
● 資料工程
○ 使用分散式技術，rabbitmq、flower、celery，收集證交所、櫃買中心、期交所等股市資訊。
○ 使用 docker、fastapi 架設 RESTful API 服務。
○ 使用 docker swarm 架設分散式服務，包含爬蟲、api、資料庫 MySQL、rabbitmq 等服務。
○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。
○ 一站式管理多台分散式機器。
● 產品迭代
○ 單元測試 unit test 介紹，包含爬蟲、api 測試範例。
○ 使用 CICD 做持續性整合、部屬，並以 gitlab-ci 搭配 API 服務做為範例。
● API 產品上線
○ 免費網址申請教學，No-IP。
○ 免費 SSL 憑證教學，Let's Encrypt。
○ 一站式管理多服務網址，容器化反向代理工具 Traefik。
● 業界資料視覺化工具
○ 使用 Redash 建立個人化、股市分析儀表板。
作者簡介
林子軒，Sam，目前任職 17 Live 資料工程師。擅長資料工程、資料分析，希望對 Python 社群、大數據領域，提供一份心力。
經歷
● 17 Live 資料工程師。
● 曾任職永豐金證券，軟體工程師。
● 曾於 Open UP Summit 2019，擔任 Speaker。
● 曾任職 tripresso，資料工程師。
● 東華研究所，應用數學碩士。
FinMind
● https://github.com/FinMind/FinMind
● https://finmindtrade.com/
個人 Github
● https://github.com/linsamtw
Email
● samlin266118@gmail.com
如對本書有疑問，歡迎寄信到以上信箱。
筆者除了本書內容外，Github 上也有寫文章介紹，兩篇 kaggle 競賽經驗，分別是生產線分析、庫存需求預設，如對以上有興趣，也可寄信到以上信箱。
目錄大綱
01 本書介紹
02 開發環境
2.1 開發環境重要性
2.2 Linux 作業系統
2.3 Windows 作業系統
2.4 Mac 作業系統
2.5 Python 開發工具 VS Code
03 Docker
3.1 為什麼先介紹 Docker ？
3.2 什麼是 Docker ？
3.3 安裝 Docker
3.4 安裝 Docker-Compose
04 雲端
4.1 為什麼要用雲端？
05 資料收集
5.1 Python 環境設置
5.2 爬蟲
5.3 資料庫架設
5.4 上傳資料到資料庫
5.5 分散式爬蟲
5.6 定時爬蟲
06 資料提供—RESTful API 設計
6.1 什麼是 API ？
6.2 輕量 API --- Flask
6.3 高效能 API --- FastAPI
07 容器管理工具 Docker
7.1 為什麼要用 Docker
7.2 建立第一個Docker image--Dockerfile
7.3 發布 Docker image
7.4 雲端部屬
7.5 Docker Swarm
7.6 部屬服務
08 自動化測試
8.1 單元測試 Unit Test
09 CICD 持續性整合、部屬
9.1 什麼是 CICD ？
9.2 CI 持續性整合
9.3 Gitlab-CI、以爬蟲專案為例
9.4 Gitlab-CI，建立 Docker image
9.5 Gitlab-CI，部屬新版本
9.6 Gitlab-CI、以 API 專案為例
9.7 總結
10 API 服務網址
10.1 為什麼需要網址？
10.2 No-IP 免費的網址申請
10.3 Let's Encrypt 免費的 SSL 憑證
10.4 Traefik
10.5 API 結合 Traefik
10.6 總結
11 視覺化工具
11.1 什麼是視覺化？
11.2 Redash
11.3 Redash 帳號設定
11.4 資料庫連接
11.5 匯入資料
11.6 製作第一個圖表
11.7 第一個 Dashboard
11.8 設定下拉式選單
11.9 其他 BI 工具
A 結論
