【摘要】：隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展,電網(wǎng)規(guī)模和用電量不斷增加,同時(shí)對用電的安全性和可靠性的要求也越來越高。為了提高電力系統(tǒng)的運(yùn)行可靠性,負(fù)荷模型的準(zhǔn)確性的重要性明顯提高。精確負(fù)荷數(shù)據(jù)的獲取對負(fù)荷建模至關(guān)重要,暫態(tài)數(shù)據(jù)的記錄頻率不斷提高,測量裝置數(shù)量、監(jiān)測范圍不斷擴(kuò)大,由此產(chǎn)生了大量待處理的監(jiān)測數(shù)據(jù)。目前電力系統(tǒng)的各種監(jiān)測數(shù)據(jù)分析計(jì)算主要基于調(diào)控中心的集中式計(jì)算平臺(tái)實(shí)現(xiàn),計(jì)算能力、數(shù)據(jù)存儲(chǔ)能力有限。面對海量的數(shù)據(jù),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)管理復(fù)雜、擴(kuò)展成本高昂。如何對海量的負(fù)荷特性監(jiān)測數(shù)據(jù)進(jìn)行可靠快速的處理已經(jīng)成為負(fù)荷建模中的重要問題。本文通過對Hadoop云計(jì)算平臺(tái)的研究,以MapReduce計(jì)算框架和HDFS存儲(chǔ)結(jié)構(gòu)為基礎(chǔ),Hive數(shù)據(jù)倉庫為核心,結(jié)合HBase數(shù)據(jù)庫的快速查詢技術(shù)和信息融合技術(shù),開展基于Hadoop的海量負(fù)荷數(shù)據(jù)云計(jì)算平臺(tái)研究工作。在數(shù)據(jù)存儲(chǔ)方面,通過對不同監(jiān)測裝置數(shù)據(jù)記錄格式的解析,構(gòu)建了能夠處理不同來源的基于Hive的數(shù)據(jù)庫存儲(chǔ)結(jié)構(gòu)。同時(shí)針對半結(jié)構(gòu)化數(shù)據(jù),結(jié)合HBase處理非結(jié)構(gòu)化數(shù)據(jù)的特性,構(gòu)建了存儲(chǔ)COMTRADE中的半結(jié)構(gòu)化數(shù)據(jù)的HBase表。對不同特點(diǎn)的數(shù)據(jù)庫的使用,提高了平臺(tái)的整合能力并增強(qiáng)了處理數(shù)據(jù)的性能。在數(shù)據(jù)優(yōu)化查詢方面,Hive的查詢要轉(zhuǎn)化為MapReduce任務(wù),耗費(fèi)的時(shí)間較長,實(shí)現(xiàn)了 Hive表到HBase的映射,能夠同時(shí)利用Hive和HBase各自的特點(diǎn)分別存儲(chǔ)靜態(tài)采樣數(shù)據(jù)和負(fù)荷特征數(shù)據(jù),減少了數(shù)據(jù)處理時(shí)延,提高了數(shù)據(jù)處理的效率。在數(shù)據(jù)計(jì)算與數(shù)據(jù)處理方面,通過在數(shù)據(jù)記錄的電氣量提取過程,采用了并行遞推的算法,減少了計(jì)算量加快了計(jì)算的速度;通過Sqoop工具將數(shù)據(jù)ETL任務(wù)轉(zhuǎn)化為MapReduce任務(wù),簡化了編程壓力和操作步驟;同時(shí)結(jié)合數(shù)據(jù)平滑算法,抑制數(shù)據(jù)噪聲,提高了數(shù)據(jù)的精度。在實(shí)驗(yàn)部分,對比了 Hadoop的分布式數(shù)據(jù)庫Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的導(dǎo)入與查詢大量數(shù)據(jù)的速度,分析了 Hive和HBase數(shù)據(jù)庫導(dǎo)入與查詢數(shù)據(jù)的性能。利用Sqoop轉(zhuǎn)化數(shù)據(jù)處理為MapReduce任務(wù),驗(yàn)證了基于Hadoop云計(jì)算平臺(tái)對海量負(fù)荷特性數(shù)據(jù)處理的優(yōu)越性。
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TM743

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王遠(yuǎn);陶燁;袁軍;何衛(wèi);;一種基于HBase的智能電網(wǎng)時(shí)序大數(shù)據(jù)處理方法[J];系統(tǒng)仿真學(xué)報(bào);2016年03期

2 王遠(yuǎn);陶燁;蔣英明;陳波;陳立宇;;智能電網(wǎng)時(shí)序大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2015年S2期

3 王珂;吳靜沁;王偉;;基于時(shí)序模型的負(fù)荷不良數(shù)據(jù)研究[J];信息通信;2015年06期

4 桂勛;;基于遞推算法的海量COMTRADE數(shù)據(jù)計(jì)算并行化[J];電力系統(tǒng)自動(dòng)化;2014年01期

5 桂勛;;面向IEEE COMTRADE格式的海量錄波數(shù)據(jù)并行壓縮/解壓算法[J];電力自動(dòng)化設(shè)備;2013年05期

6 王德文;肖凱;肖磊;;基于Hive的電力設(shè)備狀態(tài)信息數(shù)據(jù)倉庫[J];電力系統(tǒng)保護(hù)與控制;2013年09期

7 宋亞奇;周國亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

8 劉樹仁;宋亞奇;朱永利;王德文;;基于Hadoop的智能電網(wǎng)狀態(tài)監(jiān)測數(shù)據(jù)存儲(chǔ)研究[J];計(jì)算機(jī)科學(xué);2013年01期

9 黎宏劍;劉恒;黃廣文;卜立;;基于Hadoop的海量電信數(shù)據(jù)云計(jì)算平臺(tái)研究[J];電信科學(xué);2012年08期

10 葛利;印桂生;;基于小波和過程神經(jīng)網(wǎng)絡(luò)的時(shí)序聚類分析[J];電機(jī)與控制學(xué)報(bào);2011年12期

相關(guān)博士學(xué)位論文 前1條

1 張紅斌;電力系統(tǒng)負(fù)荷模型結(jié)構(gòu)與參數(shù)辨識(shí)的研究[D];華北電力大學(xué)（北京）;2003年

相關(guān)碩士學(xué)位論文 前8條

1 王丹;基于Hadoop平臺(tái)的時(shí)序數(shù)據(jù)處理方法研究[D];中國科學(xué)技術(shù)大學(xué);2015年

2 王淑祥;基于Hadoop的海量電能質(zhì)量數(shù)據(jù)云計(jì)算平臺(tái)研究[D];華北電力大學(xué);2014年

3 平利強(qiáng);基于云計(jì)算的海量時(shí)空數(shù)據(jù)存儲(chǔ)及挖掘方法的研究和應(yīng)用[D];杭州電子科技大學(xué);2014年

4 陳銘;電力系統(tǒng)“調(diào)度云”關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];廣西大學(xué);2013年

5 馮懿;基于云計(jì)算的電力系統(tǒng)不良數(shù)據(jù)辨識(shí)算法研究[D];南京理工大學(xué);2013年

6 徐婷婷;基于云計(jì)算的電力系統(tǒng)潮流分析[D];合肥工業(yè)大學(xué);2012年

7 黃鐘元;Hadoop平臺(tái)下的關(guān)系數(shù)據(jù)庫查詢與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2011年

8 葉文宸;基于hive的性能優(yōu)化方法的研究與實(shí)踐[D];南京大學(xué);2011年

，

本文編號：2572845