大數據平臺異常檢測分析系統的若乾關鍵技術研究

大數據技術生態體系中的各類技術構件本身沒有可自省的安全機制，構件間使用的RPC協議也沒有安全機制，大數據平臺的安全性面臨著巨大挑戰，如何高效、快速地檢測大數據平臺中的應用異常對提高大數據平臺的安全性具有重要意義。本書在介紹相關研究工作及相關基礎內容之後，主要針對大數據平臺的應用層日誌數據，研究了平臺異常的檢測與分析問題，構建了大數據平臺異常的離線檢測分析的方法體系及實時檢測的機制。研究了基於數據流二重概念漂移檢測的增量學習、分佈式日誌的最大頻繁序列模式挖掘算法、基於最大頻繁模式的動態規則庫構建算法、基於Web會話流的分佈式實時異常定位算法、基於最大信息系數的在線異常檢測算法、基於聚類分析的離線異常檢測算法、基於相鄰請求的動態時間閾值會話識別算法、基於會話特徵相似性模糊聚類的SFAD異常檢測算法、基於貝葉斯粒子群的異常檢測算法、平臺異常時的推測式任務調度策略、基於實時負載的推測式任務調度算法。分析了大數據平臺異常檢測分析（RADA）系統在實現時所採用的大數據技術與組件技術選型，針對RADA系統進行了深入的結構化分析，介紹了基於融合架構的RADA系統概要設計，研究了RADA系統的詳細設計與實現方法，完整地總結了大數據平臺異常的實時檢測技術與分析RADA系統的關鍵技術。本書可為產業界與學術界相關人員提供應用研發的幫助，可供電腦專業、軟件工程專業的相關工程技術人員、研究人員學習、參考。