本文關(guān)鍵詞：大數(shù)據(jù)分析在智能變電站狀態(tài)監(jiān)測系統(tǒng)中的應(yīng)用研究

  更多相關(guān)文章： 狀態(tài)監(jiān)測 大數(shù)據(jù) 聯(lián)機分析 數(shù)據(jù)模型 層次編碼

【摘要】：隨著云計算、大數(shù)據(jù)處理等相關(guān)領(lǐng)域技術(shù)以及狀態(tài)監(jiān)測技術(shù)本身的迅猛發(fā)展,在智能變電站狀態(tài)監(jiān)測中得到廣泛地應(yīng)用。變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)量呈現(xiàn)指數(shù)級增長,給傳統(tǒng)的變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)平臺的存儲、管理與分析能力帶來了極大的挑戰(zhàn),而現(xiàn)有硬件所提供的計算和存儲能力已難以適應(yīng)未來電力企業(yè)數(shù)據(jù)存儲優(yōu)化與并行處理的要求。將大數(shù)據(jù)分析技術(shù)融入到變電設(shè)備狀態(tài)監(jiān)測中,可以提高狀態(tài)監(jiān)測數(shù)據(jù)的利用率、信息共享與數(shù)據(jù)分析能力。本文首先結(jié)合電力系統(tǒng)業(yè)務(wù)發(fā)展需求,給出了一種傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測平臺的架構(gòu)方案。然后,鑒于傳統(tǒng)狀態(tài)監(jiān)測平臺存儲性能差、分析效率低等問題,設(shè)計了一種大數(shù)據(jù)環(huán)境下變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)平臺,提出了基于Hive的關(guān)系型聯(lián)機分析(ROLAP)、基于Impala的關(guān)系型聯(lián)機分析(ROLAP)和基于HBase的多維聯(lián)機分析(MOLAP)三種分布式數(shù)據(jù)分析方案。同時,設(shè)計了基于Hive的分布式ROLAP星型模型及狀態(tài)監(jiān)測平臺的工作流程。常規(guī)數(shù)據(jù)模型涉及大量的維表和事實表之間的映射運算,導致數(shù)據(jù)分析的響應(yīng)速度慢、開銷大等問題。針對該問題,本文提出一種基于無連接層次編碼的變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)模型,該模型把維表的層次信息進行編碼,壓縮至事實表中,減少大量連接操作,以優(yōu)化其性能。由于Hadoop平臺具有易擴展、可靠性高、高效的設(shè)備利用率等特點,本文利用Hadoop分布式集群搭建變電設(shè)備狀態(tài)監(jiān)測實驗平臺,采用Hive和Impala等大數(shù)據(jù)分析工具,在不同規(guī)模監(jiān)測數(shù)據(jù)集上對本模型的監(jiān)測數(shù)據(jù)加載、上卷操作、存儲開銷等方面進行實驗測試。實驗結(jié)果表明,數(shù)據(jù)加載速度慢于常規(guī)模型,但上卷執(zhí)行性能與存儲開銷均優(yōu)于常規(guī)數(shù)模模型。通過實驗驗證了本模型的有效性與可行性,本模型能夠解決分布式ROLAP大量繁瑣的表之間的連接操作,從而更加適合在大規(guī)模、分布式集群上執(zhí)行大數(shù)據(jù)分析,給變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)分析帶來一種新的思路。
【關(guān)鍵詞】：狀態(tài)監(jiān)測 大數(shù)據(jù) 聯(lián)機分析 數(shù)據(jù)模型 層次編碼
【學位授予單位】：華北電力大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TM63;TM76;TP311.13
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 緒論10-15
• 1.1 課題研究的背景和意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)分析研究現(xiàn)狀11-12
• 1.2.2 大數(shù)據(jù)分析技術(shù)研究現(xiàn)狀12
• 1.2.3 變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)分析的研究12-13
• 1.3 本文主要工作及內(nèi)容安排13-15
• 第2章 大數(shù)據(jù)分析技術(shù)的研究15-25
• 2.1 大數(shù)據(jù)處理技術(shù)15-16
• 2.2 Hadoop16-19
• 2.2.1 Hadoop概述16
• 2.2.2 HDFS16-17
• 2.2.3 MapReduce17-18
• 2.2.4 Hadoop YARN18-19
• 2.2.5 Sqoop19
• 2.3 分布式OLAP技術(shù)19-24
• 2.3.1 分布式OLAP技術(shù)分析19-20
• 2.3.2 Hive20-22
• 2.3.3 Impala22-23
• 2.3.4 Hive與Impala的分析比較23-24
• 2.4 本章小結(jié)24-25
• 第3章 變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)分析平臺的設(shè)計25-29
• 3.1 傳統(tǒng)變電設(shè)備狀態(tài)監(jiān)測平臺架構(gòu)25-27
• 3.2 大數(shù)據(jù)下變電設(shè)備狀態(tài)監(jiān)測平臺的設(shè)計27-28
• 3.3 本章小結(jié)28-29
• 第4章 基于無連接層次編碼的變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)模型29-38
• 4.1 常規(guī)數(shù)據(jù)模型29-33
• 4.1.1 基于Hive的分布式ROLAP星型模型30-31
• 4.1.2 基于Hive智能變電站狀態(tài)監(jiān)測數(shù)據(jù)的工作流程31-33
• 4.2 無連接層次編碼模型33-35
• 4.3 基于NJLS的變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)模型35-37
• 4.4 模型性能分析37
• 4.5 本章小結(jié)37-38
• 第5章 實驗測試與分析38-45
• 5.1 實驗平臺的搭建38-39
• 5.2 監(jiān)測數(shù)據(jù)準備39-40
• 5.3 監(jiān)測數(shù)據(jù)加載40-41
• 5.4 分析操作41-42
• 5.5 存儲開銷42-43
• 5.6 實驗結(jié)果分析43-44
• 5.7 本章小結(jié)44-45
• 第6章 總結(jié)與展望45-46
• 參考文獻46-50
• 攻讀碩士學位期間發(fā)表的論文及其它成果50-51
• 致謝51

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王德文;孫志偉;;電力用戶側(cè)大數(shù)據(jù)分析與并行負荷預(yù)測[J];中國電機工程學報;2015年03期

2 嚴英杰;盛戈v，

本文編號：629440