深入理解 Transformer 自然語言處理 Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBER

丹尼斯·羅思曼，畢業於索邦大學和巴黎狄德羅大學，設計了第一個word2matrix專利嵌入和向量化系統。他開始了自己的職業生涯，創作了第一批人工智能認知自然語言處理（Natural Language Processing，NLP）聊天機器人和其他公司的自動語言教師。他為IBM 和服裝生產商編寫了一個人工智能資源優化器，並在世界範圍內使用了一個先進的計劃和調度（Advanced Planning and Scheduling，APS）解決方案。

第1部分 Transformer架構介紹
第1章 Transformer模型架構入門
1.1 Transformer的背景
1.2 Transformer的崛起：Attention Is All You Need
1.2.1 編碼器堆棧
1.2.2 解碼器堆棧
1.3 訓練和表現
本章小結
問題
參考文獻
第2章 微調BERT模型
2.1 BERT的架構
2.1.1 編碼器堆棧
2.1.2 預訓練和微調BERT模型
2.2 微調BERT
2.2.1 激活GPU
2.2.2 為BERT安裝Hugging Face的PyTorch接口
2.2.3 導入模塊
2.2.4 指定CUDA作為torch的設備
2.2.5 加載數據集
2.2.6 創建句子、標簽列表和添加BERT標記
2.2.7 激活BERT標記解析器
2.2.8 處理數據
2.2.9 創建註意力掩碼
2.2.10 將數據拆分為訓練集和驗證集
2.2.11 所有數據轉換成torch張量
2.2.12 選擇批量大小並創建疊代器
2.2.13 BERT模型配置
2.2.14 加載Hugging Face BERT不區分大小寫的基本模型
2.2.15 優化器分組參數
2.2.16 訓練循環的超參數
2.2.17 訓練循環
2.2.18 訓練評估
2.2.19 使用獨立數據集進行預測和評估
2.2.20 使用馬修斯相關系數進行評估
2.2.21 單個批次的分數//056olonen
2.2.22 整個數據集的馬修斯評估
本章小結
問題
參考文獻
第3章 從零開始預訓練RoBERTa模型
3.1 訓練標記解析器和預訓練Transformer
3.2 從零開始構建KantaiBERT
3.3 後續步驟
本章小結
問題
參考文獻
第2部分 將Transformer應用於自然語言理解和生成
第4章 使用Transformer完成下遊NLP任務
4.1 轉述和Transformer模型的歸納能力
4.1.1 人類的智力層次
4.1.2 機器智能堆棧
4.2 Transformer模型性能與人類基線的比較
4.2.1 用評價指標評估模型
4.2.2 基準任務和數據集
4.2.3 定義SuperGLUE基準任務
4.3 嘗試下遊NLP任務
4.3.1 語言可接受性語料庫（CoLA）
4.3.2 SST
4.3.3 MRPC
4.3.4 Winograd模式
本章小結
習題
參考文獻
第5章 使用Transformer進行機嬲翻譯
5.1 定義機冊翻譯
5.1.1 人類的轉換和翻詳
5.1.2 機器的轉換和翻譯
5.2 預處理WMT數據集
5.2.1 預處理原始數據
5.2.2 完成數據集的預處理
5.3 使用BLEU評估機器翻譯
5.3.1 幾何評估
5.3.2 應用平滑技術
5.4 使用Trax進行翻譯
5.4.1 安裝Trax
5.4.2 創建Transformer模型
5.4.3 使用預訓練權重初始化模型
5.4.4 對句子進行標記化
5.4.5 從Transformer解碼
5.4.6 解標記化和顯示翻譯結果
本章小結
問題
參考文獻
第6章 使用OpenAI的GPT-2和GPT-3模型生成文本
6.1 十億參數Transformer模型的崛起
6.2 Transformer，Reformer、PET或GPT
6.2.1 原始Transformer架構的局限性
6.2.2 Reformer
6.2.3 PET
6.3 是時候做出決定了
6.4 OpenAI GPT模型的架構
6.4.1 從微調到零樣本模型
6.4.2 堆疊解碼器層
6.5 使用GPT-2進行文本補全
6.6 訓練GPT-2語言模型
6.7 上下文和補全示例
6.8 使用Transformer生成音樂
本章小結
問題
參考文獻
第7章 將基於Transtormer的AI文檔摘要應用於法律和金融文檔
7.1 設計通用的文本到文本模型
7.1.1 文本到文本Tramsformer模型的興起
7.1.2 用前綴而不是與具體任務相關的文本格式指述
7.1.3 T5模型
7.2 用T5進行文本摘要
7.2.1 Hugging Face
7.2.2 初始化T5-Large Transformer模型
7.2.3 用T5-Large模型進行文檔摘要
本章小結
習題
參考文獻
第8章 標記解析器與數據集的匹配
8.1 匹配數據集和標記解析器
8.1.1 最佳實踐
8.1.2 Word2 Vec標記解析
8.2 包含特定詞匯的標準NLP任務
8.2.1 用GPT-2生成無控制條件樣本
8.2.2 生成訓練過的受控樣本
8.3 T5權利法案樣本
8.3.1 摘要《權利法案》，Version 1
8.3.2 摘要《權利法案》，Version 2
本章小結
習題
參考文獻
第9章 基於BERT模型的語義角色標註
9.1 開始使用SRL
9.1.1 定義語義角色標註
9.1.2 運行一個預訓練的BERT模型
9.2 用基於BERT的模型進行SRL實驗
9.2.1 基本樣本
9.2.2 覆雜樣本
本章小結
習題
參考文獻
第3部分 高級語言理解技術
第10章 讓數據開口：講故事與做問答