本文關鍵詞：基于Storm云平臺的電網設備報警數(shù)據(jù)快速處理的研究

  更多相關文章： 電網監(jiān)測 海量數(shù)據(jù) 分布式計算 Storm 實時處理

【摘要】：隨著電力數(shù)據(jù)總量的急速增長,電力大數(shù)據(jù)時代已經來臨,智能電網建設的逐步推進對數(shù)據(jù)處理的可靠性和實時性提出了更高要求。近年來云計算技術迅速發(fā)展,分布式處理平臺不斷涌現(xiàn),為電力大數(shù)據(jù)的處理提供了切實可用的基礎架構。Storm是分布式實時處理框架,具有實時響應能力強、可靠性高、可擴展性好等突出特點,開源以來得到廣泛應用,為大規(guī)模電網數(shù)據(jù)的實時處理提供了新的研究思路。本文首先總結智能電網大規(guī)模數(shù)據(jù)處理的研究現(xiàn)狀,重點分析在海量監(jiān)測數(shù)據(jù)實時處理中面臨的問題;隨后對當前大數(shù)據(jù)處理平臺進行總結,結合大規(guī)模報警數(shù)據(jù)快速響應的應用需求,選擇基于Storm平臺進行系統(tǒng)架構,展開相關研究工作。課題的關鍵是Storm集群環(huán)境的部署和原有業(yè)務向Storm平臺的遷移。在Storm框架下,首先設計了基于近似熵算法的電網數(shù)據(jù)快速特征提取方案,將整個過程分為數(shù)據(jù)接入、數(shù)學計算、結果處理等階段,在Storm框架的各組件中編程實現(xiàn),通過數(shù)據(jù)流連通形成任務實體,提交到集群運行。之后基于DBSCAN算法進行電網監(jiān)測數(shù)據(jù)流的聚類分析,實時高效的處理計算結果。此外,平臺開展的工作還包括監(jiān)測數(shù)據(jù)越限檢查、數(shù)據(jù)篩選等。通過對比分析和性能監(jiān)測,驗證了所提方案具有低延遲和高吞吐量等優(yōu)勢,適合智能電網環(huán)境下大規(guī)模數(shù)據(jù)的實時處理。本課題為電力大數(shù)據(jù)背景下的實時處理探索了一種新的解決方案,是Storm平臺應用于智能電網領域的一次有益嘗試。
【關鍵詞】：電網監(jiān)測 海量數(shù)據(jù) 分布式計算 Storm 實時處理
【學位授予單位】：華北電力大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TM76
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-13
• 1.1 課題研究背景與意義9-10
• 1.2 智能電網發(fā)展現(xiàn)狀10-11
• 1.2.1 國外智能電網研究與發(fā)展10-11
• 1.2.2 國內智能電網研究與發(fā)展11
• 1.3 論文研究內容11-12
• 1.4 論文的組織結構12
• 1.5 本章小結12-13
• 第2章 大數(shù)據(jù)處理平臺13-20
• 2.1 引言13-14
• 2.2 批處理平臺14-16
• 2.2.1 Hadoop14-15
• 2.2.2 Impala15
• 2.2.3 Spark15-16
• 2.3 流處理平臺16-18
• 2.3.1 Twitter Storm16-17
• 2.3.2 Yahoo S417-18
• 2.4 電力大數(shù)據(jù)實時處理平臺的選取18-19
• 2.5 本章小結19-20
• 第3章 Storm平臺簡介20-29
• 3.1 Storm平臺架構20-21
• 3.2 Storm基本概念21-27
• 3.3 Storm并行模型27-28
• 3.4 本章小結28-29
• 第4章 Storm平臺下的電網數(shù)據(jù)處理29-41
• 4.1 基于近似熵算法的電網數(shù)據(jù)特征提取29-35
• 4.1.1 近似熵理論29-30
• 4.1.2 Storm框架下近似熵算法的實現(xiàn)30-35
• 4.2 基于DBSCAN的電網數(shù)據(jù)實時聚類35-39
• 4.2.1 DBSCAN算法概述35-36
• 4.2.2 Storm框架下DBSCAN算法實現(xiàn)36-39
• 4.3 數(shù)據(jù)越限檢查39-40
• 4.4 本章小結40-41
• 第5章 集群部署與性能分析41-50
• 5.1 Storm集群部署41-45
• 5.1.1 安裝部署Storm外部依賴41-42
• 5.1.2 搭建Zookeeper集群42-43
• 5.1.3 安裝Storm43-44
• 5.1.4 啟動Storm各進程44-45
• 5.2 Storm集群吞吐能力分析45-47
• 5.3 數(shù)據(jù)處理延遲分析47-49
• 5.4 集群內存使用情況49
• 5.5 本章小結49-50
• 第6章 結論與展望50-51
• 參考文獻51-54
• 攻讀碩士學位期間發(fā)表的論文及其它成果54-55
• 致謝55

【相似文獻】

中國碩士學位論文全文數(shù)據(jù)庫 前4條

1 王銘坤;基于Storm云平臺的電網設備報警數(shù)據(jù)快速處理的研究[D];華北電力大學;2015年

2 孫一品;入侵檢測報警數(shù)據(jù)融合與關聯(lián)技術研究[D];國防科學技術大學;2006年

3 楊曉君;入侵檢測報警數(shù)據(jù)處理技術研究[D];哈爾濱理工大學;2009年

4 晏少華;網絡入侵檢測系統(tǒng)中報警數(shù)據(jù)融合技術研究[D];沈陽航空航天大學;2011年

，

本文編號：719568