精通 Transformer : 從零開始構建最先進的 NLP 模型

AI領域的基石王者,那些還沉迷於CNN，RNN的工程師被警告：放棄戰鬥吧，向Transformer投降！

在過去的二十年中，自然語言處理研究領域發生了翻天覆地的變化。
在這段時間裡，自然語言處理經歷了不同的處理範式，並最終進入了一個由神奇的Transformer體系結構主導的新時代。
Transformer深度學習架構是通過繼承許多方法而產生的，
其中包括上下文詞嵌入、多頭注意力機制、位置編碼、並行體系結構、模型壓縮、遷移學習、跨語言模型等。
在各種基於神經的自然語言處理方法中， Transformer架構逐漸演變為基於注意力的“編碼器-解碼器”體系結構，並持續發展到今天。
現在，我們在文獻中看到了這種體系結構的新的成功變體。
目前研究已經發現了只使用Transformer 架構中編碼器部分的出色模型，
如BERT(Bidirectional Encoder Representations from Transformers,Transformers雙向編碼表示);
或者只使用Transformer架構中解碼器部分的出色模型，
如GPT(Generated Pre -trained Transformer,生成式的預訓練Transformer)。

本書涵蓋了這些自然語言處理方法。
基於Hugging Face社區的Transformer庫，我們能夠輕鬆地使用Transformer。
本書將循序漸進地提供各種自然語言處理問題的解決方案：從文檔摘要到問題回答系統。
我們將看到，基於Transformer, 可以取得最先進的成果。