大規模語言模式開發基礎與實踐

第1章大模型基礎

1.1人工智慧

1.1.1 人工智慧的發展歷程

1.1.2 人工智慧的研究領域

1.1.3 人工智慧對人們生活的影響

1.2機器學和深度學

1.2.1 機器學

1.2.2 深度學

1.2.3 機器學和深度學的區別

1.3大模型簡介

1.3.1 大模型的作用

1.3.2 數據

1.3.3 數據和大模型的關係

1.4大模型開發與應用的技術堆疊

第2章資料集的載入、基本處理和

2.1資料集的加載

2.1.1 PyTorch載入資料集

2.1.2 TensorFlow載入資料集

2.2資料集的基本處理

2.2.1 轉換為Tensor格式

2.2.2 標準化處理

2.2.3 調整大小和裁剪

2.2.4 隨機翻轉和旋轉

2.3數據集的

2.3.1 自訂資料集

2.3.2 簡易圖片資料集

2.3.3 有標籤的資料集

第3章資料集的預處理

3.1資料清洗和處理

3.1.1 缺失值處理

3.1.2 異常值檢測與處理

3.1.3 重複資料處理

3.2資料轉換與整合

3.2.1 徵選擇與抽取

3.2.2 徵變換與降維

3.2.3 資料整合與關聯

3.3數據標準化與歸一化

3.3.1 標準化及其重要性

3.3.2 徵縮放和歸一化

3.3.3 資料轉換與規範化

3.3.4 “ 小- 大”縮放

3.4數據技術

3.4.1 數據的意義

3.4.2 影像數據

3.4.3 自然語言數據

第4章卷積經網路模型

4.1卷積經網路簡介

4.1.1 捲積經網絡的發展背景

4.1.2 卷積經網絡的結構

4.2卷積經網路模型開發實戰

4.2.1 使用TensorFlow建立一個卷積經網路模型並評估

4.2.2 使用PyTorch建立手寫數位模型

第5章循環經網路模型

5.1文本處理與循環經網絡簡介

5.1.1 循環經網絡基礎

5.1.2 文本分類

5.2循環經網路模型開發實戰

5.2.1 使用PyTorch開發歌詞生成器模型

5.2.2 使用TensorFlow情緒分析模型

第6章徵提取

6.1徵擷取簡介

6.1.1 徵在大模型中的關鍵作用

6.1.2 徵提取與資料預處理的關係

6.2徵的類型和重要性

6.2.1 數值徵和類別徵

6.2.2 高維度資料的挑戰

6.3徵選擇

6.3.1 徵選擇的要性

6.3.2 徵選擇的方法

6.4徵抽取

6.4.1 徵抽取的概念

6.4.2 主成分分析

6.4.3 立成分分析

6.4.4 自動編碼器

6.5文本資料的徵提取

6.5.1 嵌入

6.5.2 詞袋模型

6.5.3 TF-IDF徵

6.6 影像資料的徵提取

6.6.1 預訓練的圖像徵提取模型

6.6.2 基本影像徵：邊緣偵測、色彩直方圖等

第7章註意力機制

7.1注意力機制基礎

7.1.1 注意力機制簡介

7.1.2 注意力機制的變體

7.1.3 注意力機制解決的問題

7.2TensorFlow 機器翻譯系統

7.2.1 專案簡介

7.2.2 下載並準備資料集

7.2.3 文字預處理

7.2.4 編碼器模型

7.2.5 繪製可視化注意力圖

7.2.6 解碼器

7.2.7 訓練

7.2.8 翻譯

7.3 PyTorch 機器翻譯系統

7.3.1 準備資料集

7.3.2 資料預處理

7.3.3 實作Seq2Seq 模型

7.3.4 訓練模型

7.3.5 模型評估

7.3.6 訓練和評估

7.3.7 注意力的可視化

第8章模型訓練與調

8.1模型訓練化

8.1.1 底層化

8.1.2 樣本權重與分類權重

8.2損失函數和化演算法

8.2.1 損失函數與化演算法的概念

8.2.2 TensorFlow損失函數和化演算法

8.2.3 PyTorch損失函數和化演算法

8.3批量訓練和隨機訓練

8.3.1 批量訓練和隨機訓練的概念

8.3.2 小批量隨機梯度下降

8.3.3 批量歸一化

8.3.4 丟棄

8.4模型驗證與調

8.4.1 訓練集、驗證集和測試集

8.4.2 交驗證化

8.4.3 參數調

第9章模型推理與評估

9.1模型推理

9.1.1 模型推理的步驟

9.1.2 前向傳播與輸出計算的過程

9.1.3 模型推理的化與加速

9.2模型評估

9.2.1 模型評估的方法與指標

9.2.2 交驗證和統計顯著性測試的應用

第10章大模型化演算法與技術

10.1常見的大模型化演算法與技術

10.2梯度下降法

10.2.1 梯度下降法簡介

10.2.2 TensorFlow梯度下降法化實踐

10.2.3 PyTorch梯度下降法化實踐

10.3模型並行與資料並行

10.3.1 模型並行與資料並行的基本概念

10.3.2 TensorFlow模型並行與資料並行實踐

10.3.3 PyTorch模型並行與資料並行實踐

10.4學率調度

10.4.1 學率調度的方法

10.4.2 TensorFlow學率調度化實踐

10.4.3 PyTorch學率調度化實踐

10.5權重初始化策略

10.6遷移學

10.6.1 遷移學的基本概念

10.6.2 TensorFlow遷移學化實踐

10.6.3 PyTorch遷移學化實踐

10.7其他大模型化演算法與技術

10.7.1 分散式訓練

10.7.2 正規化

10.7.3 梯度裁剪

10.7.4 混合度訓練化

10.7.5 量化技術

10.7.6 剪枝化技術

第11章AI智慧問答系統（TensorFlow+TensorFlow. js+SQuAD 2.0+Mobile-BERT）

11.1背景簡介

11.1.1 網路的影響

11.1.2 問答系統的發展

11.2問答系統的發展趨勢：AI 問答系統

11.3技術架構

11.3.1 TensorFlow.js

11.3.2 SQuAD 2.0

11.3.3 BERT

11.3.4 知識蒸餾

11.4具體實現

11.4.1 編寫HTML文件

11.4.2 腳本處理

11.4.3 載入訓練模型

11.4.4 查詢處理

11.4.5 文章處理

11.4.6 加載處理

11.4.7 尋找答案

11.4.8 提取答案

11.4.9 將答案轉換回原始文本

11.5調試運行

第12章AI人臉辨識系統（PyTorch+OpenCV+Scikit-Image+MobileNet+ArcFace）

12.1 系統簡介

12.1.1 背景簡介

12.1.2 人臉辨識的發展與現狀

12.2系統需求分析

12.2.1 系統功能分析

12.2.2 技術分析

12.2.3 實現流程分析

12.3數據集

12.3.1 準備資料集

12.3.2 提取人臉

12.4訓練模型

12.4.1 ArcFace演算法

12.4.2 MobileNet演算法

12.4.3 開始訓練

12.5評估模型

12.5.1 評估的重要性

12.5.2 評估程序

12.6人臉辨識

12.6.1 影像預處理

12.6.2 人臉辨識模型

12.6.3 開始識別