新世代 AI 範式 - 多模態+大模型實作精解

彭勇

中國國家公費留法博士，全球金融專業人士協會(GIFP協會)特聘專家，2020年歐洲網際網路保險十大風雲人物，《資料中台建設：從方法論到落地實戰》作者。從事巨量資料和人工智慧在金融行業的研究與應用工作約18年，負責相關的實作專案超過100個，在金融行業資料中台建設、數位化營銷和營運體系建設、巨量資料和人工智慧賦能、大型研發和應用、風險管理、數位智慧化轉型等方面經驗豐富。現就職於中國蘇州數擎智技術有限公司和中國北京長正諮詢有限公司，擔任兩個公司的總經理。

 

彭旋

學士和碩士畢業於中國石油大學(華東)，從事多模態大模型、知識圖譜、資訊抽取、自然語言處理等方面的研發工作，具備豐富的多模態大模型訓練、研發和企業實作經驗。《知識圖譜與大型模型融合實踐研究報告》、《知識圖譜互聯互通白皮書》的主要作者之一。

 

鄭志軍

NLP專家，研究領域主要包括文字理解、自然語言生成等，申請7項專利。從事自然語言處理研究7年有餘，有近4年大型模型使用、研發經驗。現擔任公司AIGC組組長，研發的大型在公共評測和客戶應用上均取得了優異的成績，在大型模型研發領域具有豐富的理論和實踐經驗。

 

茹炳晟

騰訊Tech Lead，騰訊研究院特約研究員，中國計算機學會(CCF)TF研發效能SIG主席，「軟體研發效能度量規範」標準核心編寫專家，中國商業聯合會網際網路應用工作委員會智庫入庫專家，中國通訊標準化協會TC608雲端計算標準和開源推進委員會雲端上軟體工程工作組副組長，騰訊雲、阿里雲、華為雲最具價值專家，多個技術峰會的聯席主席、出品人和演講嘉賓。多本技術暢銷書作者，著作有《軟體研發行業創新實戰案例解析》、《測試工程師全端技術進階與實踐》、《軟體研發效能提升之美》、《高效自動化測試平台：設計與開發實戰》、《軟體研發效能提升實踐》、《軟體研發效能權威指南》，譯作有《持續架構實踐：敏捷和DevOps時代下的軟體架構》和《現代軟體工程：如何高效構建軟體》等。

第1章 OpenAI一鳴驚人帶來的啟示

1.1 OpenAI的成長並非一帆風順

1.2 OpenAI成功的因素

1.3 OpenAI特殊的股權設計帶來的啟示

1.4 思考

第2章 自然語言處理的發展歷程

2.1 自然語言處理的里程牌

2.2 從BERT模型到ChatGPT

2.3 BERT模型到底解決了哪些問題

2.4 BERT模型誕生之後行業持續摸索

2.5 ChatGPT的誕生

2.6 思考

第3章 讀懂ChatGPT的核心技術

3.1 基於Transformer的預訓練語言模型

3.2 提示學習與指令微調

3.3 基於人工回饋的強化學習

3.4 思維鏈方法

3.5 整合學習

3.6 思考

第4章 看清GPT的進化史和創新點

4.1 GPT技術的發展歷程

4.2 GPT的創新點總結

4.3 思考

第5章 大型語言模型+多模態產生的「化學反應」

5.1 多模態模型的發展歷史

5.2 單模態學習、多模態學習和跨模態學習的區別

5.3 多模態大型語言模型發展的重大里程碑

5.4 大型語言模型+多模態的3種實現方法

5.5 多模態大型語言模型的效果評估

5.6 思考

第6章 多模態大型語言模型的核心技術

6.1 文字多模態技術

6.2 影像多模態技術

6.3 語音多模態技術

6.4 視訊多模態技術

6.5 跨模態多重組合技術

6.6 多模態大型語言模型高效的訓練方法

6.7 GPT-4多模態大型語言模型核心技術介紹

6.8 多模態技術的發展趨勢

第7章 多模態大型語言模型對比

7.1 中文模態大型語言模型介紹

7.2 多模態大型語言模型介紹

7.3 多模態大型語言模型評測資料集

7.4 多模態大型語言模型的評測標準

7.5 多模態大型語言模型對比

7.6 思考

 

第8章 中小公司的大型語言模型建構之路

8.1 微調技術介紹

8.2 模型壓縮技術介紹

8.3 微調實戰

8.4 模型壓縮實戰

8.5 思考

第9章 從0到1部署多模態大型語言模型

9.1 部署環境準備

9.2 部署流程

9.3 使用Flask框架進行API開發

9.4 使用Gradio框架進行Web頁面開發

9.5 其他部署方法介紹

9.6 部署過程中常見的問題總結

第10章 多模態大型語言模型的主要應用場景

10.1 多模態大型語言模型的應用圖譜

10.2 多模態大型語言模型在金融領域中的應用

10.3 多模態大型語言模型在出行與物流領域中的應用

10.4 多模態大型語言模型在電子商務領域中的應用

10.5 多模態大型語言模型在工業設計與生產領域中的應用

10.6 多模態大型語言模型在醫療健康領域中的應用

10.7 多模態大型語言模型在教育培訓領域的應用

10.8 思考

第11章 用多模態大型語言模型打造AI助理實戰

11.1 應用背景

11.2 方法論介紹

11.3 工具和演算法框架介紹

11.4 最佳化邏輯介紹

11.5 多模態大型語言模型的部署

11.6 多模態大型語言模型的性能評估

11.7 思考

第12章 多模態大型語言模型在情緒辨識領域的應用

12.1 應用背景和待解決的問題

12.2 方法論介紹

12.3 工具和演算法框架介紹

12.4 最佳化邏輯介紹

12.5 部署流程

12.6 效果評測

12.7 思考

第13章 大型語言模型在軟體研發領域的實戰案例與前端探索

13.1 LLM在軟體研發過程中的單點提效

13.2 程式大語言模型為軟體研發帶來的機遇與挑戰

13.3 在LLM時代，對軟體研發的更多思考

13.4 思考