MindSpore深度學習高階技術

陳雷：香港科技大學計算機科學與工程系教授，大數據研究所主任，IEEE Fellow和ACM傑出科學家。
研究方向包括數據驅動AI、人機共生機器學習、知識圖譜、社交媒體上的數據挖掘等。在國際著名期刊和會議上發表論文300餘篇，曾獲得2015年SIGMOD時間價值獎。現任VLDB 2019程序委員會聯合主席、VLDB期刊主編、IEEE TKDE期刊副總編、VLDB Endowment執行成員。

章數據處理
1.1轉換數據集為MindRecord
1.1.1背景與現狀
1.1.2MindRecord技術原理
1.1.3使用示例
1.2自動數據增強
1.2.1背景與現狀
1.2.2自動數據增強技術原理
1.2.3使用示例
1.3輕量化數據處理
1.3.1背景與現狀
1.3.2Eager模式原理
1.3.3使用示例
1.4單節點緩存加速
1.4.1背景與現狀
1.4.2單節點緩存原理
1.4.3單節點預處理數據緩存功能的使用
1.4.4性能優勢展示
1.5優化數據處理
1.5.1背景與現狀
1.5.2數據處理優化途徑
1.6本章小結
第2章網絡構建
2.1自定義算子
2.1.1算子原語
2.1.2算子實現和算子信息註冊
2.1.3使用自定義算子
2.1.4定義算子反向傳播函數
2.1.5小結
2.2深度概率學習
2.2.1框架模塊
2.2.2深度概率推斷算法與概率模型
2.2.3貝葉斯神經網絡
2.2.4貝葉斯應用工具箱
2.2.5小結
2.3高階自動微分
2.3.1微分求解方法概述
2.3.2技術原理
2.3.3相關案例
2.4本章小結
第3章訓練與推理性能優化
3.1千億參數模型自動並行
3.1.1分佈式訓練基礎
3.1.2關鍵問題
3.1.3整體流程
3.1.4流水線並行
3.1.5並行子圖切分
3.1.6算子級並行
3.1.7優化器切分
3.1.8異構圖切分
3.1.9重計算
3.1.10GPT-3超大規模分佈式並行方案
3.1.11小結
3.2二階優化
3.2.1優化器背景介紹
3.2.2THOR簡介
3.2.3THOR的實踐應用
3.2.4小結
3.3模型量化
3.3.1量化算法原理
3.3.2感知量化訓練
3.3.3訓練後量化
3.3.4小結
3.4類型推導
3.4.1靜態分析技術背景
3.4.2靜態分析設計
3.4.3靜態分析模塊設計
3.4.4小結
3.5圖算融合
3.5.1技術原理
3.5.2MindSpore上的圖算融合
3.5.3小結
3.6推理圖優化
3.6.1算子融合
3.6.2算子替換
3.6.3常量折疊
3.算子重排
3.6.5小結
3.7kernel優化
3.7.1硬件優化
3.7.2算法優化
3.7.3小結
3.8本章小結
第4章模型安全與隱私
4.1對抗攻防
4.1.1背景
4.1.2MindArmour的攻防能力
4.1.3使用示例
4.2差分隱私訓練
4.2.1差分隱私
4.2.2使用示例
4.3AI Fuzzer測試模型安全性
4.3.1AI Fuzzer原理
4.3.2使用示例
4.4隱私洩露風險評估
4.4.1原理
4.4.2使用示例
4.5本章小結
第5章模型可靠性
5.1模型魯棒性度量及提升
5.1.1技術現狀
5.1.2推薦方案
5.1.3應用結果
5.1.4技術發展
5.1.5小結
5.2概念漂移檢測
5.2.1問題背景
5.2.2業界現狀
5.2.3常用檢測算法
5.2.4小結
5.3基於故障注入的測試
5.3.1故障模式庫
5.3.2故障注入測試
5.3.3小結
5.4本章小結
第6章可解釋AI
6.1擾動類可解釋AI算法的問題與改進
6.1.1擾動類可解釋方法簡介
6.1.2擾動類可解釋方法的問題分析
6.1.3改進方法通用框架
6.1.4RISE+
6.1.5使用示例
6.1.6擴展分析
6.2基於層級遮掩的反事實解釋
6.2.1技術原理
6.2.2使用示例
6.2.3小結
6.3基於塔橋網絡模型的推薦解釋
6.3.1發展現狀
6.3.2技術原理
6.3.3推薦解釋應用示例
6.3.4訓練TB-Net網絡
6.3.5小結
本章小結
第7章AI中的公平性問題
7.1多樣的公平性定義
7.1.1群體公平
7.1.2個體公平
7.1.3過程公平
7.2偏見消減
7.2.1數據預處理
7.2.2模型構建與訓練
7.2.3後矯正
7.3AI公平性的應用場景
7.3.1內容生成與分類任務
7.3.2資源分配與決策任務
7.4本章小結
第8章數據驅動AI建模
8.1醫藥生物計算案例
8.1.1背景介紹
8.1.2發展現狀
8.1.3相關案例
8.1.4小結
8.2天氣預報案例
8.2.1背景介紹
8.2.2發展現狀
8.2.3相關案例
8.2.4小結
8.3金屬材料模擬
8.3.1背景介紹
8.3.2發展現狀
8.3.3相關案例
8.3.4小結
8.4AI求解薛定諤方程
8.4.1背景介紹
8.4.2發展現狀
8.4.3相關案例
8.4.4小結
8.5本章小結
第9章AI求解科學計算方程
9.1業界經典微分方程學術進展
9.1.1背景介紹
9.1.2物理信息神經網絡
9.1.3傅里葉神經算子
9.1.4小結
9.2SimNet
9.2.1背景介紹
9.2.2框架介紹
9.2.3相關案例
9.3SciML
9.3.1框架介紹
9.3.2典型案例
9.3.3小結
9.4本章小結
0章AI加速科學方法
10.1海洋模式背景介紹
10.2基於OpenArray的區域海洋模式GOMO
10.2.1OpenArray算子庫
10.2.2區域海洋模式GOMO
10.3MindSpore加速GOMO求解
10.3.1算子抽象
10.3.2圖算融合
10.3.3Halo區並行
10.4本章小結
參考文獻