隨著科技的發(fā)展,電能作為現(xiàn)代社會不可缺少的一部分,其質量的好壞成為衡量國家技術發(fā)展水平的重要指標。電能質量監(jiān)測數(shù)據(jù)對電網的分析與治理起著至關重要的作用。由于電網規(guī)模的擴張、電能質量監(jiān)測系統(tǒng)采集裝置采樣頻率的提高以及監(jiān)測范圍不斷的擴大,導致電能質量監(jiān)測系統(tǒng)采集的數(shù)據(jù)量不斷增大。傳統(tǒng)的電能質量監(jiān)測系統(tǒng)都是基于調度中心的集中式計算平臺,無法存儲和處理海量的電能質量數(shù)據(jù)。本文利用Hadoop平臺對傳統(tǒng)的電能質量監(jiān)測系統(tǒng)進行改進,解決了海量數(shù)據(jù)無法存儲以及計算處理時間過長的問題。首先介紹了Hadoop平臺的HDFS分布式文件系統(tǒng)、MapReduce并行計算框架以及HBase分布式數(shù)據(jù)庫,并搭建了Hadoop集群平臺。針對傳統(tǒng)電能質量監(jiān)測系統(tǒng)的弊端,提出基于Hadoop平臺電能質量監(jiān)測系統(tǒng),并給出了該系統(tǒng)具體的架構及優(yōu)勢。其次分析了數(shù)據(jù)存儲與處理相關技術,對系統(tǒng)默認的數(shù)據(jù)分布策略和數(shù)據(jù)連接算法進行改進。將多副本一致性哈希算法與HashMapJoin并行連接算法結合使用在該平臺,增大了數(shù)據(jù)本地化程度,節(jié)約了網絡帶寬資源,提高了數(shù)據(jù)連接查詢的效率,增強了系統(tǒng)的性能。另外還對系統(tǒng)涉及到的其他技術進行簡單... 

【文章來源】：中國礦業(yè)大學江蘇省 211工程院校 教育部直屬院校

【文章頁數(shù)】：82 頁

【學位級別】：碩士

【部分圖文】：

RSA密鑰對Figure2-6RSAkeypair

修改core-site.xmlFigure2-8Modifycore-site.xml

配置文件：source /etc/profile：修改 hadoop-2.7.4/etc/hadoop 文件夾下 hadoop-env.sh，如圖 2圖 2-7 修改 hadoop-env.shFigure 2-7 Modify hadoop-env.sh：修改 hadoop-2.7.4/etc/hadoop 文件夾下 core-site.xml，如圖圖 2-8 修改 core-site.xmlFigure 2-8 Modify core-site.xml：修改 hadoop-2.7.4/etc/hadoop 文件夾下 hdfs-site.xml，如圖

【參考文獻】：
期刊論文
[1]減少任務完成時間和數(shù)據(jù)局部性的數(shù)據(jù)復制及副本放置算法[J]. 廖仲夏,宋雨欣,廖啟明.  電子測量與儀器學報. 2018(02)
[2]基于云計算和改進K-means算法的海量用電數(shù)據(jù)分析方法[J]. 張承暢,張華譽,羅建昌,何豐.  計算機應用. 2018(01)
[3]基于集群規(guī)模調整的節(jié)能存儲策略[J]. 妙曉龍,陳浩,鐘將.  計算機工程與應用. 2017(24)
[4]基于開源生態(tài)系統(tǒng)的大數(shù)據(jù)平臺研究[J]. 雷軍,葉航軍,武澤勝,張鵬,謝龍,何炎祥.  計算機研究與發(fā)展. 2017(01)
[5]大數(shù)據(jù)分析的硬件與系統(tǒng)支持綜述[J]. 孫仕亮,陳俊宇.  小型微型計算機系統(tǒng). 2017(01)
[6]改進的Hadoop作業(yè)調度算法[J]. 馮興杰,賀陽.  計算機工程與應用. 2017(12)
[7]MapReduce大數(shù)據(jù)處理平臺與算法研究進展[J]. 宋杰,孫宗哲,毛克明,鮑玉斌,于戈.  軟件學報. 2017(03)
[8]軌跡大數(shù)據(jù):數(shù)據(jù)處理關鍵技術研究綜述[J]. 高強,張鳳荔,王瑞錦,周帆.  軟件學報. 2017(04)
[9]基于Hadoop的用電信息大數(shù)據(jù)計算服務及應用[J]. 王相偉,史玉良,張建林,梁波,程翠萍.  電網技術. 2015(11)
[10]電力用戶側大數(shù)據(jù)分析與并行負荷預測[J]. 王德文,孫志偉.  中國電機工程學報. 2015(03)

碩士論文
[1]基于Hadoop的海量小文件存儲性能優(yōu)化研究[D]. 張碩.湖南大學 2016
[2]基于數(shù)據(jù)偏斜條件下Reduce任務放置機制的研究[D]. 馬穩(wěn).湖南大學 2016
[3]HDFS云存儲系統(tǒng)可用性能的優(yōu)化研究[D]. 胡夢楠.電子科技大學 2016
[4]云計算在電力系統(tǒng)中的應用研究[D]. 朱迪.華北電力大學 2015
[5]基于Hadoop的海量電能質量數(shù)據(jù)處理研究[D]. 曾杰.華北電力大學 2015
[6]基于Hadoop的海量電能質量數(shù)據(jù)云計算平臺研究[D]. 王淑祥.華北電力大學 2014
[7]Hadoop平臺存儲策略的研究與優(yōu)化[D]. 高薊超.北京交通大學 2012
[8]基于Hadoop的虛擬篩選海量數(shù)據(jù)存儲及結果處理的設計和實現(xiàn)[D]. 陳殿偉.蘭州大學 2012
[9]基于MapReduce的數(shù)據(jù)挖掘算法研究與應用[D]. 杜玲玲.桂林電子科技大學 2012
[10]基于MapReduce的海量圖像檢索技術研究[D]. 陳廣釗.西安電子科技大學 2012



本文編號：3060286