大型語言模型實戰指南：應用實踐與場景落地

劉聰 沈盛宇 李特麗 杜振東

大型語言模型實戰指南：應用實踐與場景落地
  • 出版商: 機械工業
  • 出版日期: 2024-08-21
  • 定價: $594
  • 售價: 8.5 折 $505
  • 語言: 簡體中文
  • 頁數: 278
  • 裝訂: 平裝
  • ISBN: 7111758455
  • ISBN-13: 9787111758457

    • 下單後立即進貨 (約4週~6週)

商品描述

這是一本系統梳理並深入解析大模型的基礎理論、演算法實作、資料建構流程、模型微調方法、偏好對齊方法的著作，
也是一本能手把手教​​你建構角色扮演、資訊擷取、知識問答、AI Agent等各種強大的應用程式的著作。
本書得到了零一萬物、面壁智能、通義千問、百姓AI、瀾舟科技等國內主流大模型團隊的負責人的高度評價和鼎力推薦。
具體地，透過本書你能了解或掌握以下知識：
（1）大型語言模型的基礎理論，包括常見的模型架構、領域大型語言模型以及如何評估大模型的表現。
（2）大模型微調的關鍵步驟：從資料的收集、清洗到篩選，直到微調訓練的技術細節。
（3）大模型人類偏好對齊方法，從基於人工回饋的強化學習框架到當前主流的對齊方法。
（4）透過GPTs快速搭建個人化的專屬ChatGPT應用。
（5）透過開源模型在多種情境下建構大模型應用，包括：表格查詢、角色扮演、資訊擷取、知識問答、AI Agent等。
（6）掌握大模型Agent方法以及Agent常用架構。
（7）基於LangChain框架建構一個AutoGPT應用。
本書集大模型理論、實踐和場景落地於一體，提供大量經過詳細註解的程式碼，方便讀者理解和實踐。
總之，不管裡是想深入研究大模型本身，還是進行大模型相關應用搭建，
本書都應該能給你相當有價值的技術啟發與思考，讓你在大模型的路上快速前行，少走彎路。

目錄大綱

CONTENTS
目錄
前言
第1章　大型語言模型基礎 ?1
1.1　Transformer基礎 ?1
1.2　常用的大型語言模式 ?4
1.2.1　GPT系列模型 ?4
1.2.2　OPT模型 ?11
1.2.3　Bloom模型 ?12
1.2.4　GLM系列模型 ?12
1.2.5　LLaMA系列模型 ?14
1.2.6　Baichuan系列模型 ?16
1.2.7　Qwen系列模型 ?18
1.2.8　Skywork模型 ?19
1.3　領域大型語言模式 ?21
1.3.1　法律大型語言模式 ?21
1.3.2　醫療大型語言模式 ?24
1.3.3　金融大型語言模式 ?27
1.3.4　教育大型語言模式 ?29
1.4　大型語言模型評估 ?30
1.4.1　大型語言模型的評估
內容 ?30
1.4.2　大型語言模型的評估
方法 ?32
1.4.3　大型語言模型評估
榜單 ?33
1.5　本章小結 ?37
第2章　大型語言模型的常用
微調方法 ?38
2.1　資料建構與清洗 ?38
2.1.1　資料建構方法 ?39
2.1.2　資料清洗方法 ?43
2.2　分詞器構造 ?44
2.2.1　分詞器概述 ?44
2.2.2　BPE分詞器 ?45
2.2.3　WordPiece分詞器 ?52
2.2.4　Unigram分詞器 ?56
2.2.5　SentencePiece分詞器 ?58
2.2.6　詞表融合 ?62
2.3　大型語言模型的微調方法 ?63
2.3.1　前綴調優 ?63
2.3.2　提示調優 ?64
2.3.3　P-Tuning v2 ?65
2.3.4　LoRA ?65
2.3.5　DyLoRA ?66
2.3.6　AdaLoRA ?67
2.3.7　QLoRA ?67
2.3.8　QA-LoRA ?68
2.3.9　LongLoRA ?69
2.3.10　VeRA ?69
2.3.11　S-LoRA ?70
2.4　基於PEFT的LLaMA模型
微調實戰 ?71
2.4.1　專案介紹 ?71
2.4.2　資料預處理 ?71
2.4.3　模型微調 ?72
2.4.4　模型預測 ?77
2.5　本章小結 ?78
第3章　大型語言模型的人類
偏好對齊 ?79
3.1　基於人類回饋的強化學習架構 ?79
3.2　前沿偏好對齊方法 ?84
3.2.1　RRHF ?84
3.2.2　RLAIF ?85
3.2.3　DPO ?87
3.2.4　APO ?89
3.3　基於DPO的偏好對齊實戰 ?90
3.3.1　資料集介紹 ?90
3.3.2　TRL框架介紹 ?92
3.3.3　訓練程式碼解析 ?93
3.4　本章小結 ?96
第4章　創建個人專屬的ChatGPT
—GPTs ?97
4.1　GPTs初體驗 ?97
4.2　GPTs的初階使用 ?105
4.2.1　知識庫的使用 ?105
4.2.2　內建插件的使用 ?108
4.2.3　知識庫與內建插件的
結合使用 ?111
4.3　GPTs的高階使用 ?113
4.4　本章小結 ?122
第5章　大型語言模型SQL任務
實戰 ?123
5.1　公開資料集 ?123
5.1.1　英文公開資料集 ?123
5.1.2　中文公開資料集 ?128
5.2　主流方法 ?132
5.2.1　基於規則的方法 ?133
5.2.2　基於深度學習的方法 ?133
5.2.3　基於預訓練語言模型的
方法 ?136
5.2.4　基於大型語言模型的
方法 ?136
5.3　Text2SQL任務實戰 ?141
5.3.1　項目介紹 ?141
5.3.2　資料預處理 ?142
5.3.3　模型微調 ?147
5.3.4　模型預測 ?149
5.4　本章小結 ?150
第6章　大型語言模型的角色扮演
應用 ?151
6.1　角色扮演 ?151
6.1.1　大型語言模型如何進行
角色扮演 ?153
6.1.2　角色扮演數據的構造
方法 ?155
6.1.3　大型語言模型角色扮演的
能力評估 ?155
6.2　角色扮演實戰測試 ?156
6.3　基於Baichuan的角色扮演模型
微調 ?159
6.3.1　計畫介紹 ?159
6.3.2　資料預處理 ?160
6.3.3　模型微調 ?164
6.3.4　模型預測 ?171
6.4　本章小結 175
第7章　大型語言模型的對話要素
抽取應用 ?176
7.1　對話要素擷取 ?176
7.2　對話要素抽取實戰測試 ?177
7.2.1　基於GPT-3.5 API進行
對話要素擷取 ?178
7.2.2　基於Qwen-1.8B模型
進行對話要素擷取 ?180
7.3　基於Qwen的對話要素抽取
模型微調 ?183
7.3.1　項目介紹 ?183
7.3.2　資料預處理 ?183
7.3.3　模型微調 ?190
7.3.4　模型預測 ?198
7.4　本章小結 ?202
第8章　Agent應用開發 ?203
8.1　Agent概述 ?203
8.2　Agent的主要模組 ?205
8.3　Agent的行為決策機制 ?207
8.4　主流Agent 框架 ?211
8.4.1　LangChain框架 ?211
8.4.2　LlamaIndex框架 ?214
8.4.3　AutoGPT框架 ?215
8.4.4　AutoGen 框架 ?216
8.4.5　SuperAGI框架 ?219
8.5　本章小結 ?221
第9章　基於知識庫的大型語言
模型問答應用 ?222
9.1　基於知識庫問答 ?222
9.2　向量資料庫 ?224
9.2.1　文本的向量表徵 ?225
9.2.2　向量的距離度量方法 ?228
9.2.3　常用的向量資料庫 ?229
9.3　以知識庫為基礎的大型語言模型
問答實戰 ?231
9.3.1　BGE微調 ?231

類似商品