相關主題
商品描述
本書展現了大語言模型技術的整體框架和路線圖，內容講解力求簡明、準確、實用，主要目的在於為相關行業或研究領域提供大模型技術的中文參考資料，推動我國相關人工智能技術的發展。全書共13章，內容涉及大模型的背景和基礎知識、資源、預訓練、微調與對齊、大模型使用以及模型評測等，同時還提供了相關的代碼示例與實驗工具包。 本書可供具有深度學習基礎的讀者閱讀與使用，既可作為高等學校人工智能、大數據、計算機類等專業教材，也可作為相關研究與從業人員的參考用書。
作者簡介
文繼榮，中國人民大學信息學院院長、高瓴人工智能學院執行院長，國家特聘專家。長期從事人工智能和大數據領域的研究工作，研究方向包括信息檢索、數據挖掘、機器學習、大模型等。擔任中國人民政治協商會議北京市第十四屆委員會常務委員、中央統戰部黨外知識分子建言獻策專家組成員、第八屆教育部科學技術委員會委員、中國計算機學會常務理事等。曾任微軟亞洲研究院高級研究員和互聯網搜索與挖掘組主任。
目錄大綱
第一部分 背景與基礎知識
第1章 引言
1.1 語言模型的發展歷程
1.2 大語言模型的能力特點
1.3 大語言模型關鍵技術概覽
1.4 大語言模型對科技發展的影響
1.5 本書的內容組織
第2章 基礎介紹
2.1 大語言模型的構建過程
2.1.1 大規模預訓練
2.1.2 指令微調與人類對齊
2.2 擴展定律
2.2.1 KM擴展定律
2.2.2 Chinchilla擴展定律
2.2.3 關於擴展定律的討論
2.3 湧現能力
2.3.1 代表性的湧現能力
2.3.2 湧現能力與擴展定律的關系
2.4 GPT系列模型的技術演變
2.4.1 早期探索
2.4.2 規模擴展
2.4.3 能力增強
2.4.4 性能躍升
第3章 大語言模型資源
3.1 公開可用的模型檢查點
3.1.1 公開可用的通用大語言模型檢查點
3.1.2 LLaMA變體系列
3.2 常用的預訓練數據集
3.2.1 網頁
3.2.2 書籍與論文
3.2.3 維基百科
3.2.4 代碼
3.2.5 混合型數據集
3.3 常用的微調數據集
3.3.1 指令微調數據集
3.3.2 人類對齊數據集
3.4 代碼庫資源
3.4.1 Hugging Face開源社區
3.4.2 DeepSpeed
3.4.3 Megatron-LM
3.4.4 本書配套資源說明
第二部分 預訓練
第4章 數據準備
4.1 數據來源
4.1.1 通用文本數據
4.1.2 專用文本數據
4.2 數據預處理
4.2.1 質量過濾
4.2.2 敏感內容過濾
4.2.3 數據去重
4.2.4 數據對預訓練效果的影響
4.2.5 數據預處理實踐
4.3 詞元化(分詞)
4.3.1 BPE分詞
4.3.2 WordPiece分詞
……
第三部分 微調與對齊
第四部分 使用與評測
參考文獻
