智能電網與大數據分析 — 隨機矩陣理論方法 (Smart Grid and Big Data: Theory and Practice)

Robert C. Qiu（邱才明）教授，IEEE Fellow，上海交通大學大數據工程技術研究中心主任，上海交通大學講席教授，美國田納西理工大學終身教授。 
Qiu教授於1987年在西安電子科技大學獲得理學學士學位，1990年在電子科技大學獲得碩士學位，1995年在美國紐約大學理工學院獲得博士學位。 
1995?1997年擔任威訊（GTE）實驗室技術研究員；1997?2000年擔任朗訊科技有限公司貝爾實驗室技術研究員；2000?2003年擔任Wiscom（無線通信）科技有限公司共同發起人、CEO及總裁。
 Qiu教授的主要研究方向為：智能電網、大數據、無線網絡與無線定位、雷達等領域。

趙生捷，博士，同濟大學電子與信息工程學院教授，博士生導師。
擁有中國科學技術大學學士學位和中國航空航天部第二研究院碩士學位，美國得克薩斯州A＆M大學（Texas A＆M University）電子與計算機工程學博士學位。
曾供職於美國朗訊科技公司貝爾實驗室和中國航天科工集團有限公司，是美國阿爾卡特朗訊（Alcatel-Lucent）技術學院院士，新一代寬帶無線通信產品系統專家，美國電氣電子工程師學會（IEEE）高級會員。
趙生捷博士在大數據、無線通信、智能視頻處理、數字信號處理領域有20多年國際國內行業經驗，領導和參加過多項計算機、電子與通信領域的研究和開發項目。
在國際電子信息領域的頂級雜誌IEEE期刊、美國貝爾實驗室技術期刊（Bell Labs Technical Journal）和IEEE國際會議共發表30多篇論文，持有20多項美國和中國發明專利或專利申請。
目前的研究領域為大數據、無線通信、信號處理、多媒體處理和車聯網。

目錄
第1章 緒論
1．1 大數據： 基本概念
1．1．1 大數據： 總覽
1．1．2 DARPA的XDATA項目
1．1．3 美國國家自然科學基金
1．1．4 大數據的機遇和挑戰
1．1．5 大數據的信號處理與系統工程
1．1．6 大數據的大型隨機矩陣
1．1．7 美國聯邦政府的大數據
1．2 大數據挖掘
1．3 大數據的數學介紹
1．4 大數據的數學理論
1．4．1 玻耳茲曼熵和H理論
1．4．2 香農定理和經典信息論
1．4．3 Dan-Virgil Voiculescu和自由中心極限定理
1．4．4 自由熵
1．4．5 Jean Ginibre和他的非厄米隨機矩陣
1．4．6 複數Ginibre集合的圓形定律
1．5 智能電網
1．6 大數據和智能電網
1．7 閱讀指南
文獻備註

第一部分 大數據基礎
第2章 大數據系統的數學基礎
2．1 大數據分析
2．2 大數據： 傳感、 收集、 存儲和分析
2．2．1 數據收集
2．2．2 數據清理
2．2．3 數據表示和建模
2．2．4 數據分析
2．2．5 數據存儲
2．3 智能算法
2．4 智能電網的信號處理
2．5 電網能效的監測與優化
2．6 電網的分佈式傳感和測量
2．7 流數據的實時分析
2．8 大數據的顯著特點
2．8．1 奇異值分解和隨機矩陣理論
2．8．2 異質性
2．8．3 噪聲積累
2．8．4 偽相關
2．8．5 偶然內生性
2．8．6 對計算方法的影響
2．9 量子系統的大數據
2．10 金融系統的大數據
2．10．1 方法論
2．10．2 等時相關性Marchenko-Pastur定律
2．10．3 對稱時滯相關矩陣
2．10．4 不對稱時滯相關矩陣
2．10．5 降噪
2．10．6 冪律尾
2．10．7 自由隨機變量
2．10．8 輸入和輸出變量之間的互相關
2．11 大氣系統的大數據
2．12 大數據下的傳感網絡
2．13 大數據下的無線網絡
2．13．1 Marchenko-Pastur定律
2．13．2 單“環”定律
2．13．3 實驗結果
2．14 大數據下的交通運輸
文獻備註

第3章 大型隨機矩陣簡介
3．1 將高維數據以隨機矩陣形式建模
3．2 隨機矩陣理論簡介
3．3 改變觀點： 從向量到測度
3．4 測度的Stieltjes變換
3．5 一個基本的結果： Marchenko-Pastur方程
3．6 線性特徵值統計與極限定律
3．7 線性特徵值統計量的中心極限定理
3．8 隨機矩陣S-1T的中心極限定理
3．9 隨機矩陣的獨立性
3．10 矩陣值高斯分佈
3．11 矩陣值的Wishart分佈
3．12 矩量法
3．13 Stieltjes變換法
3．14 大型隨機矩陣譜測度的集中
3．15 未來的方向
文獻備註

第4章 樣本協方差矩陣的線性譜統計
4．1 線性譜統計
4．2 廣義Marchenko-Pastur分佈
4．2．1 中心極限定理
4．2．2 尖峰總體模型
4．2．3 廣義尖峰總體模型
4．3 譜密度函數的估計
4．3．1 估算方法
4．3．2 極限譜分佈的核估計量
4．3．3 核估計的中心極限定理
4．3．4 噪聲方差的估計
4．4 限制時間序列的譜分佈
4．4．1 矢量自回歸移動平均（VARMA）模型
4．4．2 通用線性過程
4．4．3 線性過程的大樣本協方差矩陣
4．4．4 固定過程
4．4．5 對稱自交叉協方差矩陣
4．4．6 具有重尾的大樣本協方差矩陣
文獻備註

第5章 大型厄米隨機矩陣與自由度隨機變量
5．1 大型經濟/金融體系
5．2 矩陣值的概率
5．2．1 協方差矩陣的特徵值譜及其估計
5．3 Wishart-Levy自由穩定的隨機矩陣
5．4 自由隨機變量的基本概念
5．5 Wishart-Levy隨機矩陣的譜分析
5．6 Stieltjes變換的基本性質
5．7 Stieltjes變換的基本定理
5．8 厄米隨機矩陣中的自由概率
5．8．1 隨機矩陣理論
5．8．2 厄米隨機矩陣的自由概率理論
5．8．3 增強自由卷積
5．8．4 隨機矩陣的壓縮
5．8．5 乘法自由卷積
5．9 隨機范德蒙矩陣
5．10 狀態估計的非漸近分析
文獻備註

第6章 大型非厄米隨機矩陣與四元離子自由概率論
6．1 四元自由概率理論
6．1．1 Stieltjes變換
6．1．2 加法自由卷積
6．1．3 乘法自由卷積
6．1．4 厄米矩陣的四元數值函數
6．2 R對角矩陣
6．2．1 R對角矩陣的種類
6．2．2 加法自由卷積
6．2．3 乘法自由卷積
6．2．4 各向同性隨機矩陣
6．3 非厄米隨機矩陣的和
6．4 非厄米隨機矩陣的乘積
6．5 奇異值等價模型
6．6 非厄米隨機矩陣的冪
6．6．1 矩陣的冪
6．6．2 譜
6．6．3 內積
6．7 大型非厄米隨機矩陣的冪級數
6．7．1 幾何級數
6．7．2 冪級數
6．8 隨機Ginibre矩陣的乘積
6．9 矩形高斯隨機矩陣的乘積
6．10 複雜Wishart矩陣的乘積
6．11 乘積和冪之間的關係
6．12 有限規模的獨立同分佈高斯隨機矩陣的乘積
6．13 複合高斯隨機矩陣乘積的Lyapunov指數
6．14 歐氏隨機矩陣
6．15 具有獨立項和圓形定律的隨機矩陣
6．16 圓形定律與離群值
6．17 隨機奇異值分解、 單環定律和離群值
6．17．1 有限秩擾動的離群值： 定理6．17．3的證明
6．17．2 內圓內的特徵值： 定理6．17．4的證明
6．18 橢圓定律和離群值
文獻備註

第7章 數據收集的數學基礎
7．1 大數據的結構和應用
7．2 協方差矩陣估計
7．3 大型隨機矩陣的譜估計
7．3．1 奇異值閾值
7．3．2 Stein無偏風險估計（SURE）
7．3．3 擴展譜函數
7．3．4 正則化的主成分分析
7．4 矩陣重建的漸近框架
7．4．1 帶損失函數的矩陣估計
7．4．2 與大型隨機矩陣的聯繫
7．4．3 漸近矩陣重構
7．4．4 噪聲方差的估計
7．4．5 矩陣去噪的最優硬閾值
7．5 最佳收縮
7．6 大規模協方差矩陣估計的收縮方法
7．7 大樣本協方差矩陣集合的特徵向量
7．7．1 Stieltjes變換
7．7．2 樣本特徵向量與總體特徵向量的對比
7．7．3 樣本特徵值的漸近最優偏差校正
7．7．4 矩陣估計的精度
7．8 一般的隨機矩陣
7．8．1 大規模MIMO系統
文獻備註

第8章 矩陣假設檢驗使用大規模隨機矩陣
8．1 激勵示例
8．2 兩個隨機矩陣的假設檢驗
8．3 期望和方差的特徵值界限
8．3．1 特徵值的理論位置
8．3．2 Wasserstein距離
8．3．3 樣本協方差矩陣――具有指數衰減的元素
8．3．4 高斯協方差矩陣
8．4 經驗分佈函數的集中度
8．4．1 龐加萊型不等式
8．4．2 經驗龐加萊型不等式
8．4．3 隨機矩陣的集中度
8．5 隨機二次型
8．6 隨機矩陣的對數行列式
8．7 一般MANOVA矩陣
8．8 大型隨機矩陣的有限秩擾動
8．8．1 非漸近有限樣本理論
8．9 高維數據集的假設檢驗
8．9．1 似然比檢驗（LRT）和協方差矩陣檢驗的動機
8．9．2 使用損失函數估計協方差矩陣
8．9．3 協方差矩陣檢驗
8．9．4 高維協方差矩陣的最優假設檢驗
8．9．5 球形檢驗
8．9．6 檢驗正態分佈的多個協方差矩陣的等式
8．9．7 檢驗正態分佈組分的獨立性
8．9．8 相互依賴檢驗
8．9．9 尖峰特徵值的存在性檢驗
8．9．10 大維度和小樣本量
8．10 Roy最大根檢驗
8．11 大型隨機矩陣假設的最優檢驗
8．12 矩陣橢球等高分佈
8．13 矩陣橢球等高分佈的假設檢驗
8．13．1 一般結果
8．13．2 兩類模型
8．13．3 檢驗準則
文獻備註

第二部分 智 能 電 網
第9章 智能電網的應用和需求
9．1 歷史
9．2 概念和願景
9．3 當今的電網
9．4 未來智能電力系統

第10章 智能電網的技術挑戰
10．1 自愈式電力系統的概念基礎
10．2 如何使電力傳輸系統智能化
10．3 作為複雜適應系統的電力系統
10．4 使電力系統成為使用分佈式計算機代理的自我修復網絡
10．5 配電網
10．6 網絡安全
10．7 智能計量網絡
10．8 智能電網通信基礎設施
10．9 無線傳感器網絡
文獻備註

第11章 智能電網的大數據
11．1 數字的力量： 大數據和電網基礎結構
11．2 能源的互聯網： 大數據的收斂和雲
11．3 邊緣分析： 消費者、 電動汽車和分佈式生成
11．4 橫向主題： 大數據
11．5 智能電網的雲計算
11．6 數據存儲、 數據訪問和數據分析
11．7 大數據的最新處理技術
11．8 大數據迎合智能電網
11．9 大數據的4V： 容量、 類型、 值和速度
11．10 大數據的雲計算
11．11 智能電網的大數據
11．12 智能電網信息平台
文獻備註

第12章 電網監控與狀態估計
12．1 相量測量單元
12．1．1 相量的傳統定義
12．1．2 相量測量概念
12．1．3 同步相量定義和測量
12．2 最佳的PMU佈局
12．3 狀態估計
12．4 基礎狀態估計
12．5 狀態估計的演化
12．6 靜態狀態估計
12．7 預測輔助狀態估計
12．8 相量測量單元
12．9 分佈式系統狀態估計
12．10 事件觸發的狀態估計方法
12．11 不良數據的檢驗
12．12 改進的不良數據檢驗
12．13 網絡攻擊
12．14 線路中斷檢測
文獻備註

第13章 虛假數據注入攻擊與狀態估計
13．1 狀態估計
13．2 虛假數據注入攻擊
13．2．1 基本原則
13．3 MMSE狀態估計與廣義似然比檢驗
13．3．1貝葉斯框架與MMSE估計
13．3．2 統計模型和攻擊假設
13．3．3 具有“l1範數正則化”的廣義似然比檢測器
13．3．4 具有MMSE狀態估計的經典檢測器
13．3．5 對MMSE和GLRT檢測的最優攻擊
13．4 非線性測量的稀疏恢復
13．4．1 線性系統的不良數據檢驗
13．4．2 非線性系統的不良數據檢驗
13．5 實時入侵檢測
文獻備註

第14章 需求響應
14．1 為什麼吸引需求
14．2 最優實時定價算法
14．3 運輸電氣化和車對電網應用
14．4 網格存儲
文獻備註

第三部分 通信與傳感技術
第15章 大數據在通信領域的應用
15．1 5G與大數據
15．2 5G無線通信網絡
15．3 大規模MIMO
15．3．1 多用戶MIMO系統模型
15．3．2 超長的隨機向量
15．3．3 良好的傳播
15．3．4 預編碼技術
15．3．5 下行鏈路系統模型
15．3．6 隨機矩陣理論
15．4 大規模MIMO信道容量的自由概率
15．4．1 非漸近理論： 集中不等式
15．5 認知無線電的光譜傳感
文獻備註

第16章 大數據感知
16．1 分佈式檢測和估計
16．1．1 通信時計算
16．1．2 分佈式檢驗
16．1．3 分佈式估計
16．1．4 共識算法
16．1．5 具有歐幾里得隨機矩陣（ERM）的隨機幾何圖
16．2 歐幾里得隨機矩陣
16．3 分佈式計算

附錄A 自由概率的一些基本研究結果
附錄B 矩陣值隨機變量