買這商品的人也買了...
-
$580$452 -
$580$458 -
$407AWS 解決方案架構師學習指南 (第2版·SAA-C01)
-
$1,080$853 -
$980$774 -
$620$489 -
$509Elasticsearch 數據搜索與分析實戰
-
$750$593 -
$556大規模語言模型:從理論到實踐
-
$1,280$1,011 -
$474$450 -
$1,200$948 -
$780$616 -
$880$695 -
$650$507 -
$505深度神經網絡高效計算:大模型輕量化原理與關鍵技術
-
$352AI 訓練師手冊:演算法與模型訓練從入門到精通
-
$780$616 -
$690$545 -
$479$455 -
$880$695 -
$534$507 -
$880$695 -
$1,280$1,011 -
$709基於大模型的 RAG 應用開發與優化 — 構建企業級 LLM 應用
相關主題
商品描述
這是一本全面講解RAG技術原理、實戰應用與系統構建的著作。作者結合自身豐富的實戰經驗,詳細闡述了RAG的基礎原理、核心組件、優缺點以及使用場景,同時探討了RAG在大模型應用開發中的變革與潛力。
書中不僅揭示了RAG技術背後的數學原理,還通過豐富的案例與代碼實現,引導讀者從理論走向實踐,輕鬆掌握RAG系統的構建與優化。無論你是深度學習初學者,還是希望提升RAG應用技能的開發者,本書都將為你提供寶貴的參考與指導。
通過閱讀本書,你將掌握以下知識:透徹理解RAG的召回和生成模塊算法、高級RAG系統的技巧、RAG系統的各種訓練方式方法、深入瞭解RAG的範式變遷、實戰0基礎搭建RAG系統、實戰高級RAG系統微調與流程搭建。
目錄大綱
前 言
第一部分 基础
第1章 RAG与大模型应用 2
1.1 大模型应用的方向:RAG 2
1.1.1 什么是RAG 2
1.1.2 RAG与模型微调的对比 5
1.1.3 RAG带来的范式改变 5
1.2 为什么需要RAG 6
1.2.1 大模型的知识更新问题 6
1.2.2 大模型生成结果的不可解释性问题 8
1.2.3 大模型的数据泄露问题 8
1.2.4 大模型的训练成本问题 9
1.3 RAG的工作流程 9
1.3.1 数据准备 10
1.3.2 数据召回 11
1.3.3 答案生成 12
1.4 RAG的优缺点 12
1.4.1 RAG的优点 12
1.4.2 RAG的缺点 13
1.5 RAG的使用场景 14
1.6 RAG面临的挑战 16
1.6.1 LLM的伸缩法则与知识库大小的关系 16
1.6.2 相似度搜索的性能问题 17
1.7 本章小结 19
第2章 语言模型基础 20
2.1 Transformer 20
2.1.1 词嵌入 24
2.1.2 编码器 35
2.1.3 解码器 39
2.1.4 解码头 41
2.2 自动编码器 41
2.2.1 ELMo 42
2.2.2 BERT 43
2.3 自回归模型 47
2.3.1 GPT 48
2.3.2 LLaMA 53
2.4 本章小结 56
第3章 文本召回模型 58
3.1 文本召回模型基础 58
3.2 稠密向量检索模型 61
3.2.1 SimCSE 61
3.2.2 SBERT 63
3.2.3 CoSENT 64
3.2.4 WhiteBERT 65
3.2.5 SGPT 66
3.3 稀疏向量检索模型 67
3.3.1 朴素词袋模型 67
3.3.2 TF-IDF 68
3.3.3 BM25 70
3.4 重排序模型 71
3.5 本章小结 72
第二部分 原理
第4章 RAG核心技术与优化方法 74
4.1 提示词工程 74
4.1.1 提示词工程基础 74
4.1.2 RAG场景下的提示词设计 81
4.2 文本切块 83
4.2.1 固定大小文本切块 84
4.2.2 基于NLTK的文本切块 85
4.2.3 特殊格式文本切块 85
4.2.4 基于深度学习模型的文本切块 86
4.3 向量数据库 87
4.3.1 Faiss 88
4.3.2 Milvus 92
4.3.3 Weaviate 93
4.3.4 Chroma 93
4.3.5 Qdrant 93
4.4 召回环节优化 94
4.4.1 短文本全域信息增强 94
4.4.2 召回内容上下文扩充 95
4.4.3 文本多向量表示 96
4.4.4 查询内容优化 98
4.4.5 召回文本重排序 101
4.4.6 多检索器融合 102
4.4.7 结合元数据召回 104
4.5 效果评估 107
4.5.1 召回环节评估 107
4.5.2 模型回答评估 109
4.6 LLM能力优化 115
4.6.1 LLM微调 115
4.6.2 FLARE 117
4.6.3 Self-RAG 119
4.7 本章小结 120
第5章 RAG范式演变 121
5.1 基础RAG系统 121
5.1.1 基础流程 121
5.1.2 存在的问题 122
5.2 先进RAG系统 125
5.3 大模型主导的RAG系统 127
5.4 多模态RAG系统 131
5.5 本章小结 135
第6章 RAG系统训练 136
6.1 RAG系统的训练难点 136
6.2 训练方法 138
6.3 独立训练 138
6.4 序贯训练 139
6.4.1 冻结召回模块 140
6.4.2 冻结生成模块 141
6.5 联合训练 143
6.5.1 异步更新索引 143
6.5.2 批近似 147
6.6 本章小结 149
第三部分 实战
第7章 基于LangChain实现RAG应用 152
7.1 LangChain基础模块 152
7.2 基于LangChain实现RAG 156
7.3 基于Streamlit搭建一个ChatPDF可视化应用 158
7.4 本章小结 161
第8章 RAG系统构建与微调实战 162
8.1 向量模型构建 162
8.1.1 模型选型 162
8.1.2 训练数据构造 163
8.1.3 向量模型训练 166
8.1.4 向量模型联合训练 167
8.2 大模型指令微调 175
8.3 复杂问题处理 179
8.3.1 微调数据构造 180
8.3.2 微调数据处理 194
8.3.3 复杂问题推理处理 200
8.4 本章小结 203