人工智慧注意力機制體系模型與演算法剖析

第1章人類注意力與電腦注意力－從認識自我到改造
1.1本源思考：哲學中的注意力
1.1.1早期哲學的樸素觀點
1.1.2注意力視為一般認知現象
1.1.3注意力作為重要研究對象
1.2心路歷程：心理學中的注意力
1.2.1實驗心理學中的注意力
1.2.2認知心理學中的注意力
1.3深入腦海：認知經科學中的注意力
1.3.1認知經科學的研究基礎與方法
1.3.2認知經科學中的注意力研究
1.4改造：電腦科學中的注意力
1.4.1人工智慧為什麼要討論注意力？
1.4.2注意力與電腦視覺
1.4.3注意力與自然語言處理
1.4.4注意力機制的多模態應用
參考文獻
第2章電腦視覺中的注意力
2.1注意力模型的分類
2.1.1客觀與主觀：由下而上的注意力與自上而下的注意力
2.1.2目的與手段：視覺顯著性檢測與視覺注意力機制
2.1.3掩膜與權重：硬性注意力與柔性注意力
2.1. 4徵與位置：徵域注意力與空間域注意力
2.1.5自己與相互：自註意力與互注意力
2.2視覺顯著性檢測原理與模型剖析
2.2.1注視點預測
2.2.2顯著物體檢測
2.3注意力機制的電腦視覺應用與模型剖析
2.3.1目標搜尋與辨識
2.3.2細粒度分類
2.3.3經網路中的通用注意力模組
參考文獻
第3章自然語言處理中的注意力－「前Transformer」的時代
3.1機器翻譯與Seq2Seq模型
3.1.1機器翻譯
人工智慧注意力機制：體系、模型與演算法剖析3.1.2Seq2Seq模型
3.2自然語言處理中註意力機制的起源
3.2.1Seq2Seq模型的問題
3.2.2注意力Seq2Seq模型
3.3演算法剖析
3.3.1全局注意力與局注意力機制
3.3.2層級注意力機制
3.3.3自註意力機制
3.4注意力機制的形式化表示
參考文獻
第4章“只要注意力”的Transformer
4.1Transformer的誕生
4.2Transformer的編碼器解碼器架構
4.2.1編碼器結構
4.2.2解碼器結構
4.3Transformer的輸入與輸出
4.3.1字嵌入
4.3.2位置編碼
4.3.3Transformer的輸出
4.4Transformer的注意力機制
4.4.1縮放點積注意力
4.4.2多頭注意力
4.4.3編碼器與解碼器中的注意力模組
4.5一些其他問題
4.5.1BatchNorm與LayerNorm
4.5.2模型訓練的Teacher Forcing模式
4.5. 3序列預測的Beam Search方法
參考文獻
第5章自然語言處理中的預訓練範式與Transformer的「一統江湖」
5.1語言建模
5.1.1從統計語言模型到經網絡語言模型
5.1.2單向語言模型與雙向語言模型
5.1.3自回歸語言模型與自編碼語言模型
5.2自然語言處理中的預訓練範式
5.2.1「預訓練+微調」範式
5.2.2「預訓練+提示」範式
5.3預訓練模型概覽
5.4基於Transformer的預訓練模型
5.4.1GPT：Transformer的「右手」
5.4.2BERT：Transformer的「左手」
5.4.3TransformerXL與XLNet：從任意長輸入到「更好的BERT」
5.4.4RoBERTa與ALBERT：「魯棒版BERT」與「瘦身版BERT」
5.4.5MASS、BART與UniLM：序列到序列的模型
5.4.6ERNIE「雙雄」：借助外資料的增強模型
5.4.7XLM：跨語種預訓練語言模型
5.4.8GPT2 .0與GPT3.0：級模型
參考文獻
第6章電腦視覺中的Transformer
6.1視覺Transformer模型概覽
6.2卷積還是注意力？
6.3Transformer的電腦視覺應用與演算法剖析
6.3.1影像分類與通用主幹網路
6.3.2目標偵測
6.3.3影像分割
6.3.4自監督預訓練模型
參考文獻
第7章多模態機器學中的注意力機制
7.1多模態技術發展史
7.2多模態機器學面臨的挑戰
7.3視覺語言多模態模型
7.3.1視覺語言任務簡介
7.3.2視覺語言模型中的注意力機制
7.4多模態模型剖析
7.4. 1早期單任務視覺語言模型
7.4.2視覺語言預訓練模型
7.4.3提示驅動CV模型
7.4.4新生成模式
參考文獻