發(fā)布時(shí)間：2017-04-24 11:22

  本文關(guān)鍵詞：基于Hadoop的海量電能質(zhì)量數(shù)據(jù)云計(jì)算平臺研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著科學(xué)技術(shù)的發(fā)展和國民經(jīng)濟(jì)的增長,對電能的需求量日益增加,同時(shí)電力用戶對電能質(zhì)量的要求也越來越高。為了提高電能質(zhì)量,電能質(zhì)量監(jiān)測數(shù)據(jù)采集系統(tǒng)的監(jiān)測數(shù)據(jù)采樣頻率需要明顯提高,監(jiān)測范圍也將大大擴(kuò)展,由此涌現(xiàn)出海量的電能質(zhì)量監(jiān)測數(shù)據(jù)。目前電力系統(tǒng)的電能質(zhì)量的分析計(jì)算基于調(diào)度中心的集中式計(jì)算平臺實(shí)現(xiàn),面對大規(guī)模電能質(zhì)量數(shù)據(jù),其計(jì)算速度慢,任務(wù)執(zhí)行效率低,分析結(jié)果存在嚴(yán)重滯后性�；趥鹘y(tǒng)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)管理難以滿足其要求,或需付出高昂的成本代價(jià)實(shí)現(xiàn)。如何對海量電能質(zhì)量數(shù)據(jù)進(jìn)行可靠快速的處理成為電能質(zhì)量分析中的重要問題。 本文通過對Hadoop計(jì)算框架和MapReduce并行編程模型等云計(jì)算關(guān)鍵技術(shù)進(jìn)行研究,在現(xiàn)有的電能質(zhì)量分析計(jì)算平臺的基礎(chǔ)上,結(jié)合Hadoop在海量數(shù)據(jù)存儲(chǔ)和處理方面的優(yōu)勢,開展基于Hadoop的海量電能質(zhì)量數(shù)據(jù)云計(jì)算平臺設(shè)計(jì)和實(shí)現(xiàn)工作。在數(shù)據(jù)存儲(chǔ)方面,通過對電能質(zhì)量監(jiān)測數(shù)據(jù)存儲(chǔ)和處理特征分析,實(shí)現(xiàn)了基于HBase的大規(guī)模數(shù)據(jù)存儲(chǔ)平臺,具有可擴(kuò)展性和高可靠性,同時(shí)結(jié)合面向列存儲(chǔ)數(shù)據(jù)庫HBase和關(guān)系數(shù)據(jù)庫SQL Server各自的特點(diǎn),分別存儲(chǔ)不同類型的數(shù)據(jù),不僅提升了平臺性能,而且使平臺可以較為方便地整合到現(xiàn)有的電能質(zhì)量監(jiān)測系統(tǒng)中,以增強(qiáng)現(xiàn)有系統(tǒng)；在數(shù)據(jù)處理方面,通過對現(xiàn)有的電能質(zhì)量分析算法程序重構(gòu),實(shí)現(xiàn)了基于MapReduce的電能質(zhì)量分析處理,并對基于MapReduce電能質(zhì)量分析作業(yè)提出了一些配置參數(shù)優(yōu)化方式,增強(qiáng)了分析處理過程并發(fā)性,提高了電能質(zhì)量計(jì)算分析效率。此外,針對HDFS存在的單點(diǎn)故障問題,課題設(shè)計(jì)的平臺增加了熱備節(jié)點(diǎn),實(shí)現(xiàn)了具有高可用性的存儲(chǔ)系統(tǒng)。 在實(shí)驗(yàn)部分,對比現(xiàn)有傳統(tǒng)方式電能質(zhì)量分析處理,計(jì)算了不同時(shí)間段的電能質(zhì)量穩(wěn)態(tài)諧波指標(biāo),驗(yàn)證了基于Hadoop電能質(zhì)量分析平臺的正確性和優(yōu)越性。
【關(guān)鍵詞】：電能質(zhì)量 海量數(shù)據(jù) Hadoop MapReduce 云計(jì)算
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TM711;TP3
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-15
• 1.1 問題提出9-11
• 1.1.1 研究背景9-10
• 1.1.2 Hadoop在數(shù)據(jù)處理方面的優(yōu)勢10-11
• 1.2 研究現(xiàn)狀11-12
• 1.2.1 Hadoop應(yīng)用現(xiàn)狀11-12
• 1.2.2 電力系統(tǒng)云計(jì)算平臺研究現(xiàn)狀12
• 1.3 主要研究內(nèi)容12-13
• 1.4 論文結(jié)構(gòu)13-15
• 第2章 Hadoop概述15-23
• 2.1 Hadoop應(yīng)用現(xiàn)狀簡介15
• 2.2 HDFS分布式文件系統(tǒng)15-18
• 2.2.1 HDFS設(shè)計(jì)目標(biāo)15-16
• 2.2.2 HDFS體系結(jié)構(gòu)16-17
• 2.2.3 HDFS數(shù)據(jù)存儲(chǔ)17
• 2.2.4 HDFS容錯(cuò)機(jī)制17-18
• 2.3 MapReduce計(jì)算模型18-20
• 2.3.1 MapReduce編程模型18
• 2.3.2 MapReduce體系結(jié)構(gòu)18
• 2.3.3 MapReduce執(zhí)行流程18-20
• 2.3.4 MapReduce容錯(cuò)機(jī)制20
• 2.4 HBase分布式數(shù)據(jù)庫20-22
• 2.4.1 HBase簡介20-21
• 2.4.2 HBase邏輯模型21-22
• 2.4.3 HBase物理模型22
• 2.5 本章小結(jié)22-23
• 第3章 電能質(zhì)量數(shù)據(jù)云計(jì)算平臺分析23-29
• 3.1 電能質(zhì)量監(jiān)測系統(tǒng)分析23-25
• 3.1.1 電能質(zhì)量監(jiān)測系統(tǒng)概述23-24
• 3.1.2 電能質(zhì)量監(jiān)測數(shù)據(jù)特征24
• 3.1.3 電能質(zhì)量監(jiān)測數(shù)據(jù)處理24-25
• 3.2 平臺結(jié)構(gòu)分析25-27
• 3.2.1 平臺簡介25
• 3.2.2 平臺總體結(jié)構(gòu)25-26
• 3.2.3 平臺數(shù)據(jù)處理26-27
• 3.3 平臺關(guān)鍵問題分析27-28
• 3.3.1 電能質(zhì)量監(jiān)測數(shù)據(jù)存儲(chǔ)27
• 3.3.2 電能質(zhì)量分析算法調(diào)用27
• 3.3.3 電能質(zhì)量分析作業(yè)調(diào)度27-28
• 3.3.4 電能質(zhì)量分析結(jié)果處理28
• 3.3.5 平臺監(jiān)測數(shù)據(jù)存儲(chǔ)可靠性28
• 3.4 本章小結(jié)28-29
• 第4章 電能質(zhì)量數(shù)據(jù)云計(jì)算平臺設(shè)計(jì)與實(shí)現(xiàn)29-46
• 4.1 電能質(zhì)量數(shù)據(jù)存儲(chǔ)方案設(shè)計(jì)與實(shí)現(xiàn)29-37
• 4.1.1 電能質(zhì)量監(jiān)測數(shù)據(jù)存儲(chǔ)29-30
• 4.1.2 電能質(zhì)量分析結(jié)果存儲(chǔ)30
• 4.1.3 監(jiān)測數(shù)據(jù)存儲(chǔ)HA方案30-32
• 4.1.4 平臺集群環(huán)境關(guān)鍵配置32-37
• 4.2 電能質(zhì)量數(shù)據(jù)處理方案設(shè)計(jì)與實(shí)現(xiàn)37-45
• 4.2.1 MapReduce作業(yè)輸入輸出37-38
• 4.2.2 電能質(zhì)量分析算法38-39
• 4.2.3 電能質(zhì)量監(jiān)測數(shù)據(jù)預(yù)處理作業(yè)39-40
• 4.2.4 電能質(zhì)量分析作業(yè)40-44
• 4.2.5 MapReduce作業(yè)優(yōu)化44-45
• 4.3 本章小結(jié)45-46
• 第5章 實(shí)驗(yàn)與數(shù)據(jù)分析46-50
• 5.1 實(shí)驗(yàn)設(shè)計(jì)46
• 5.2 實(shí)驗(yàn)配置46
• 5.3 實(shí)驗(yàn)分析46-49
• 5.3.1 電能質(zhì)量計(jì)算效率實(shí)驗(yàn)分析46-47
• 5.3.2 平臺HDFS可靠性實(shí)驗(yàn)分析47-49
• 5.4 本章小結(jié)49-50
• 第6章 總結(jié)與展望50-52
• 參考文獻(xiàn)52-55
• 攻讀碩士學(xué)位期間發(fā)表的論文及其它成果55-56
• 致謝56

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 劉越;;云計(jì)算綜述與移動(dòng)云計(jì)算的應(yīng)用研究[J];信息通信技術(shù);2010年02期

2 王憲磊;;電能質(zhì)量與在線監(jiān)測方法研究[J];科技創(chuàng)新導(dǎo)報(bào);2012年10期

3 王淑祥;馬素霞;;基于Hadoop的海量電能質(zhì)量監(jiān)測數(shù)據(jù)分析平臺研究[J];中國科技信息;2013年13期

  本文關(guān)鍵詞：基于Hadoop的海量電能質(zhì)量數(shù)據(jù)云計(jì)算平臺研究，由筆耕文化傳播整理發(fā)布。

本文編號：324125