Llama 大模型實踐指南

第1章　大模型的基礎理論
1.1　大模型的發展歷史
1.1.1　從語言模型到預訓練大模型
1.1.2　預訓練大模型的發展
1.1.3　大模型的進化
1.2　大模型的核心框架
1.2.1　Transformer
1.2.2　位置編碼
1.2.3　多頭自註意力機制
1.3　數據收集和數據處理
1.3.1　數據收集
1.3.2　數據處理
1.4　大模型的預訓練及微調
1.4.1　無監督預訓練
1.4.2　指令微調
1.4.3　基於人類反饋微調
1.5　大模型的評測
1.5.1　評測任務
1.5.2　評測數據集
1.5.3　評測方法
1.5.4　評測中的挑戰
第2章　部署Llama 2大模型
2.1　部署前的準備
2.1.1　硬件準備
2.1.2　環境準備
2.2　模型的導入與加載
2.2.1　下載代碼
2.2.2　下載模型
2.3　模型部署
2.3.1　API部署
2.3.2　text-generation-webui 部署
2.3.3　使用text-generation-webui
第3章　微調Llama 2大模型
3.1　微調的數據集準備和標註
3.1.1　數據集準備
3.1.2　數據集標註
3.2　Llama 2大模型加載
3.3　微調策略設計及模型重新訓練
3.3.1　微調策略設計
3.3.2　模型參數高效微調
3.4　模型評估、測試和模型優化
3.4.1　模型評估、測試
3.4.2　模型優化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解決Llama 2大模型多輪對話難題
4.1　定製多輪對話數據集和構造方法
4.1.1　準備微調訓練數據的7個原則
4.1.2　定製微調訓練數據集
4.1.3　多輪對話的3個場景
4.2　實操構造多輪對話微調訓練數據集
4.3　通過多輪對話存儲解決信息流失問題
4.3.1　拼接歷史與當前輸入
4.3.2　上下文向量
4.3.3　對話狀態追蹤
4.3.4　狀態壓縮
4.3.5　增量學習和在線學習
4.4　提高大模型多輪對話應對能力
4.4.1　針對性的數據集與微調
4.4.2　實時反饋與自適應
4.4.3　強化學習優化
4.4.4　上下文感知與個性化
4.4.5　多模態與多任務學習
4.4.6　錯誤處理與恢復策略
4.5　模型評估與持續改進
4.5.1　微調Llama 2大模型評估
4.5.2　持續改進
4.6　適合Llama 2大模型多輪對話的prompt構建
第5章　基於Llama 2定製行業大模型
5.1　業務數據分析指導行業大模型定製
5.1.1　行業大模型的定製策略
5.1.2　模型性能的評估
5.2　行業數據的獲取與預處理
5.2.1　數據獲取
5.2.2　數據預處理
5.3　Llama 2大模型導入初始化
5.4　微調獲得行業特定大模型
5.4.1　領域預訓練
5.4.2　微調策略
5.5　模型測試、評估和優化
第6章　Llama 2 + LangChain文檔問答模型構建
6.1　LangChain介紹
6.2　LangChain的主要概念與示例
6.2.1　模型
6.2.2　提示
6.2.3　輸出解析器
6.2.4　索引
6.2.5　內存
6.2.6　鏈
6.2.7　代理
6.2.8　工具
6.3　LangChain 環境配置
6.3.1　Python環境搭建
6.3.2　LangChain主要模塊
6.4　Llama 2+LangChain文檔問答模型評估
6.4.1　設置虛擬環境和創建文件結構
6.4.2　Llama 2和LangChain的交互流程
6.4.3　具體案例
第7章　多語言大模型技術介紹及其工業應用
7.1　多語言大模型的研究現狀和技術方向
7.1.1　為什麽進行多語言研究
7.1.2　多語言在NLP社區的發展
7.1.3　多語言模型技術方向
7.2　多語言大模型的預訓練資源和評測任務
7.2.1　多語言大模型的預訓練資源介紹
7.2.2　評測任務介紹
7.3　多語言大模型的優化方向
7.3.1　數據預處理流程
7.3.2　Tokenizer
7.3.3　訓練數據格式和採樣策略
7.3.4　多語言大模型的訓練任務
7.3.5　多語言大模型的優化方向總結（以Llama 2為例）
7.4　多語言大模型的工業應用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　機器翻譯