深度學習：數學基礎、算法模型與實戰

前言
第1章 深度學習方法概述/
 1.1閱讀本書前需要的準備工作/
 1.2機器學習方法的定義/
 1.3為什麼要使用機器學習方法/
 1.4深度學習方法的產生與發展/
 1.5深度學習應用領域與發展前景/
 1.6如何開始學習/
 1.7本書的章節編排/
 1.8總結/
第2章 深度學習的數學基礎/
 2.1深度學習中的線性代數/
  2.1.1機器學習中的數據與矩陣/
  2.1.2矩陣的運算/
  2.1.3圖像的矩陣格式/
  2.1.4文本的矩陣格式/
 2.2優化算法/
  2.2.1求一元函數的極小值問題/
  2.2.2多元函數求導與梯度下降法/
  2.2.3使用PyTorch進行的求導和優化/
  2.2.4方程求解與欠定問題和正則化/
  2.2.5再論雙十一預測問題與超定問題/
 2.3概率與統計/
  2.3.1概率、條件概率與貝葉斯理論/
  2.3.2極大似然估計與最大後驗估計/
 2.4總結/
第3章 深度學習基礎模型和實現：全連接網絡/
 3.1邏輯回歸算法/
  3.1.1數據和模型/
  3.1.2交叉熵損失函數/
  3.1.3小批量梯度下降法/
  3.1.4正則化影響/
 3.2訓練集、驗證集、測試集及精度評價標準/
  3.2.1分類問題精度評價標準/
  3.2.2回歸問題精度評價標準/
  3.2.3過擬合和欠擬合問題/
 3.3多層神經網絡模型/
  3.3.1線性可分與線性不可分/
  3.3.2多層神經網絡自動構建特徵解決分類問題 /
  3.3.3神經網絡的深度、廣度及高層API使用/
 3.4使用NumPy構建神經網絡庫（復現PyTorch）/
  3.4.1陣求導/
  3.4.2交叉熵損失函數的導數/
  3.4.3自動微分（求導）庫的構建/
  3.4.4完善深度學習庫的高層API /
 3.5回歸、分類等監督學習模型/
 3.6深度學習中的優化算法/
  3.6.1帶動量的梯度下降法/
  3.6.2均方誤差傳遞迭代算法/
  3.6.3自適應矩估計迭代算法/
 3.7總結/
第4章 深度學習基礎模型和實現：卷積神經網絡/
 4.1信號、圖像分析基礎/
 4.2從卷積到卷積神經網絡/
 4.3卷積神經網絡模型的構建/
  4.3.1從神經網絡角度看待卷積神經網絡/
  4.3.2卷積神經網絡其他輔助結構/
 4.4卷積神經網絡反向傳播算法/
 4.5卷積神經網絡的感受野問題/
 4.6總結/
第5章 深度學習基礎模型和實現：循環神經網絡和Transformer/
 5.1文本向量化/
  5.1.1語句、詞分割算法之BPE編碼/
  5.1.2語句、詞分割算法之一元模型/
 5.2循環神經網絡和文本建模/
  5.2.1文本分類任務和基礎循環神經網絡結構/
  5.2.2長短時記憶單元（LSTM）/
  5.2.3門控循環結構/
 5.3PyTorch的數據API使用/
 5.4循環神經網絡反向傳播/
 5.5文本處理中的前後文問題/
  5.5.1雙向循環神經網絡結構/
  5.5.2使用卷積神經網絡進行文本分詞/
 5.6Transformer模型/
  5.6.1向量的加權相加、自註意力機制和多頭注意力機制/
  5.6.2位置編碼/
  5.6.3注意力掩碼與單向模型/
 5.7總結/
第6章 深度學習基礎模型和實現：深層設計和優化結構/
 6.1構建一個更深的網絡/
  6.1.1深度神經網絡的結構設計改進/
  6.1.2深度神經網絡設計中的梯度消失問題/
  6.1.3殘差網絡設計/
 6.2標準化層/
  6.2.1批標準化/
  6.2.2層標準化層/
 6.3過擬合問題/
  6.3.1數據增強/深度學習：數學基礎、算法模型與實戰目錄
  6.3.2正則化方法/
  6.3.3DropOut層/
 6.4參數初始化和遷移學習/
  6.4.1參數的隨機初始化問題/
  6.4.2遷移學習問題/
 6.5總結/
第7章 信號和圖形學應用/
 7.1信號和圖像的濾波與“超級夜景”/
  7.1.1卷積神經網絡的上採樣方式：轉置卷積、插值和像素洗牌 /
  7.1.2一維自編碼器模型：波形的濾波與重建/
  7.1.3二維數據濾波：圖像濾波和超級夜景功能/
 7.2物體檢測和時序數據異常檢測/
  7.2.1物體檢測模型設計：基於滑動窗的物體檢測模型/
  7.2.2物體檢測模型設計：多物體檢測的單一模型/
  7.2.3Faster RCNN：用於物體檢測的二階模型/
  7.2.4用於一維時序數據、波形異常、信號檢測/
 7.3圖像特徵提取與分類問題/
 7.4對抗生成網絡模型：圖像生成與高頻約束問題/
  7.4.1圖像生成問題：GAN和ACGAN/
  7.4.2基於對抗生成模型的超分辨率採樣任務：SRGAN/
  7.4.3對抗生成網絡圖像轉換實踐：Pix2Pix/
  7.4.4非成對的圖形轉換：CycleGAN/
 7.5變分自編碼器/
  7.5.1無監督機器學習與隱變量分析/
  7.5.2變分自編碼器模型/
 7.6總結/
第8章 自然語言和時序數據處理類應用/
8.1單向模型與文本和時序數據預測問題/
  8.1.1中文文本生成/
  8.1.2時序數據（股票等）預測問題/
  8.1.3單向卷積模型：因果卷積/
 8.2基於循環網絡的編碼解碼模型/
  8.2.1基礎編碼解碼結構/
  8.2.2基於循環神經網絡的編碼解碼結構中的文本補0問題/
  8.2.3序列到序列模型中的注意力機制與自然語言翻譯/
 8.3基於Transformer模型的自然語言處理模型/
  8.3.1基於Transformer的序列到序列模型/
  8.3.2BERT模型原理/
  8.3.3GPT模型原理 /
 8.4總結/
第9章 圖像、信號、文本等跨模態轉換/
 9.1語音識別問題/
  9.1.1基於短時傅里葉變換和CTC模型的語音識別/
  9.1.2卷積神經網絡直接處理原始波形進行語音識別/
  9.1.3使用編碼解碼（Seq2Seq）模型完成語音識別 /
 9.2圖像文本混合任務 /
  9.2.1光學字符識別任務/
  9.2.2圖像標題生成/
  9.2.3文本到圖像自動合成/
  9.2.4自然科學應用：深度學習層析成像技術/
 9.3強化學習/
 9.4圖神經網絡/
  9.4.1圖及其相關概念/
  9.4.2空間域圖卷積神經網絡 /
  9.4.3譜域圖卷積神經網絡/
 9.5總結/
第10章 深度學習模型壓縮與加速/
 10.1對模型進行優化與壓縮/
  10.1.1卷積基礎結構優化/
  10.1.2卷積層的優化/
  10.1.3批標準化層融合/
  10.1.4知識蒸餾/
 10.2深度學習模型壓縮和量化/
  10.2.1深度學習模型浮點計算精度/
  10.2.2深度學習模型量化/
  10.2.3量化模型計算實現/
 10.3模型部署/
 10.4總結