人工智能註意力機制體系模型與演算法剖析

傅罡，博士，畢業於清華大學，高級工程師。現就職於同方威視技術股份有限公司人工智能研發中心，長期負責人工智能算法研發和研發管理工作。2015年，進入清華大學同方威視校企聯合博士後工作站進行博士後研究工作。2017年至今，作為技術負責人或骨幹參與多個國家級和省部級重點研究項目。長期關註人工智能技術的進展，對自然語言處理、計算機視覺等領域的各類人工智能算法有著深刻的理解和獨到的見解，並擅長用通俗易懂的語言進行闡述和表達

第1章人類註意力與電腦註意力－從認識自我到改造
1.1本源思考：哲學中的註意力
1.1.1早期哲學的樸素觀點
1.1.2註意力視為一般認知現象
1.1.3註意力作為重要研究對象
1.2心路歷程：心理學中的註意力
1.2.1實驗心理學中的註意力
1.2.2認知心理學中的註意力
1.3深入腦海：認知經科學中的註意力
1.3.1認知經科學的研究基礎與方法
1.3.2認知經科學中的註意力研究
1.4改造：電腦科學中的註意力
1.4.1人工智能為什麼要討論註意力？
1.4.2註意力與電腦視覺
1.4.3註意力與自然語言處理
1.4.4註意力機制的多模態應用
參考文獻
第2章電腦視覺中的註意力
2.1註意力模型的分類
2.1.1客觀與主觀：由下而上的註意力與自上而下的註意力
2.1.2目的與手段：視覺顯著性檢測與視覺註意力機制
2.1.3掩膜與權重：硬性註意力與柔性註意力
2.1. 4徵與位置：徵域註意力與空間域註意力
2.1.5自己與相互：自註意力與互註意力
2.2視覺顯著性檢測原理與模型剖析
2.2.1註視點預測
2.2.2顯著物體檢測
2.3註意力機制的電腦視覺應用與模型剖析
2.3.1目標搜尋與辨識
2.3.2細粒度分類
2.3.3經網絡中的通用註意力模組
參考文獻
第3章自然語言處理中的註意力－「前Transformer」的時代
3.1機器翻譯與Seq2Seq模型
3.1.1機器翻譯
人工智能註意力機制：體系、模型與演算法剖析3.1.2Seq2Seq模型
3.2自然語言處理中註意力機制的起源
3.2.1Seq2Seq模型的問題
3.2.2註意力Seq2Seq模型
3.3演算法剖析
3.3.1全局註意力與局註意力機制
3.3.2層級註意力機制
3.3.3自註意力機制
3.4註意力機制的形式化表示
參考文獻
第4章“只要註意力”的Transformer
4.1Transformer的誕生
4.2Transformer的編碼器解碼器架構
4.2.1編碼器結構
4.2.2解碼器結構
4.3Transformer的輸入與輸出
4.3.1字嵌入
4.3.2位置編碼
4.3.3Transformer的輸出
4.4Transformer的註意力機制
4.4.1縮放點積註意力
4.4.2多頭註意力
4.4.3編碼器與解碼器中的註意力模組
4.5一些其他問題
4.5.1BatchNorm與LayerNorm
4.5.2模型訓練的Teacher Forcing模式
4.5. 3序列預測的Beam Search方法
參考文獻
第5章自然語言處理中的預訓練範式與Transformer的「一統江湖」
5.1語言建模
5.1.1從統計語言模型到經網絡語言模型
5.1.2單向語言模型與雙向語言模型
5.1.3自回歸語言模型與自編碼語言模型
5.2自然語言處理中的預訓練範式
5.2.1「預訓練+微調」範式
5.2.2「預訓練+提示」範式
5.3預訓練模型概覽
5.4基於Transformer的預訓練模型
5.4.1GPT：Transformer的「右手」
5.4.2BERT：Transformer的「左手」
5.4.3TransformerXL與XLNet：從任意長輸入到「更好的BERT」
5.4.4RoBERTa與ALBERT：「魯棒版BERT」與「瘦身版BERT」
5.4.5MASS、BART與UniLM：序列到序列的模型
5.4.6ERNIE「雙雄」：借助外資料的增強模型
5.4.7XLM：跨語種預訓練語言模型
5.4.8GPT2 .0與GPT3.0：級模型
參考文獻
第6章電腦視覺中的Transformer
6.1視覺Transformer模型概覽
6.2捲積還是註意力？
6.3Transformer的電腦視覺應用與演算法剖析
6.3.1影像分類與通用主幹網絡
6.3.2目標偵測
6.3.3影像分割
6.3.4自監督預訓練模型
參考文獻
第7章多模態機器學中的註意力機制
7.1多模態技術發展史
7.2多模態機器學面臨的挑戰
7.3視覺語言多模態模型
7.3.1視覺語言任務簡介
7.3.2視覺語言模型中的註意力機制
7.4多模態模型剖析
7.4. 1早期單任務視覺語言模型
7.4.2視覺語言預訓練模型
7.4.3提示驅動CV模型
7.4.4新生成模式
參考文獻