隨著社會(huì)科技的快速發(fā)展,智能化裝備也日新月異,對(duì)于裝備運(yùn)行狀況的分析伴隨著傳感器節(jié)點(diǎn)多,采樣頻率高和分析周期長(zhǎng)的特點(diǎn),對(duì)應(yīng)著裝備生成的數(shù)據(jù)量也不斷增多,甚至能達(dá)到TB級(jí)別。對(duì)于如此大規(guī)模的數(shù)據(jù)分析,傳統(tǒng)的分析技術(shù)已經(jīng)不能滿足要求,需要采取相關(guān)大數(shù)據(jù)分析技術(shù)。因?yàn)榇髷?shù)據(jù)往往隱藏著某些知識(shí)規(guī)則和關(guān)聯(lián)關(guān)系,在數(shù)據(jù)量有限的情況下無(wú)法有效進(jìn)行判斷和識(shí)別,通過(guò)大數(shù)據(jù)分析技術(shù),可以進(jìn)一步挖掘和判斷[1.2]。云計(jì)算能夠提供大量低成本的計(jì)算和存儲(chǔ)資源,并且具有易部署,擴(kuò)展性強(qiáng)的特點(diǎn),能夠滿足大數(shù)據(jù)分析的軟件和硬件需要。因此將云計(jì)算和大數(shù)據(jù)技術(shù)進(jìn)行有效融合,發(fā)揮各自的優(yōu)勢(shì),在裝備故障的大數(shù)據(jù)分析上具有重要的實(shí)踐意義[3]。本文圍繞裝備故障分析存在的問(wèn)題,以大數(shù)據(jù)分析作為切入點(diǎn),對(duì)大數(shù)據(jù)處理技術(shù)進(jìn)行深入研究。以國(guó)內(nèi)某風(fēng)場(chǎng)的風(fēng)力發(fā)電機(jī)裝備故障分析為例,設(shè)計(jì)并實(shí)現(xiàn)了用于裝備故障分析的大數(shù)據(jù)平臺(tái),為開(kāi)發(fā)人員提供數(shù)據(jù)和技術(shù)支持。研究?jī)?nèi)容包括基于系統(tǒng)設(shè)計(jì)的分層思想,研究并設(shè)計(jì)出計(jì)算平臺(tái)的整體架構(gòu),架構(gòu)分成數(shù)據(jù)源、數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)層、資源管理層、業(yè)務(wù)層和應(yīng)用層;探究Hadoop-Spark集群及其相關(guān)組件部署的最... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：65 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１?ＨＤＦＳ架構(gòu)??

ＭａｐＲｅｄｕｃｅ計(jì)算模型通過(guò)Ｍａｐ和Ｒｅｄｕｃｅ兩個(gè)步驟來(lái)拆解大規(guī)模的數(shù)據(jù)??集，并行處理大批量的任務(wù)，同時(shí)提供了相應(yīng)接口讓用戶和具體的開(kāi)發(fā)人員進(jìn)??行調(diào)用。ＭａｐＲｅｄｕｃｅ的工作機(jī)制流程如圖２－２所示。??７??

進(jìn)行讀寫(xiě)的磁盤(pán)，進(jìn)而降低運(yùn)行效率的問(wèn)題。??ＭａｐＲｅｄｕｃｅ計(jì)算框架的工作原理在２．２．２節(jié)提到過(guò)，這里主要講下它在工作??時(shí)產(chǎn)生的弊端。具體流程如圖２－４所示。當(dāng)有計(jì)算任務(wù)開(kāi)始時(shí)，ＨＤＦＳ首先讀??取存儲(chǔ)在底盤(pán)的文件，然后進(jìn)行迭代計(jì)算，計(jì)算完后將得到的中間結(jié)果存儲(chǔ)在??ＨＤＦＳ上，也就是硬盤(pán)上，但下一個(gè)任務(wù)還會(huì)從硬盤(pán)讀取上一個(gè)計(jì)算過(guò)程得到??的結(jié)果，通過(guò)計(jì)算將最終結(jié)果保存在硬盤(pán)上�？梢钥闯�，在實(shí)際的計(jì)算過(guò)程??中，囊括了硬盤(pán)數(shù)據(jù)的多次讀寫(xiě)，復(fù)制，序列化，而硬盤(pán)的Ｉ／Ｏ時(shí)間占比很??大，硬盤(pán)的Ｉ／Ｏ速度將會(huì)成為計(jì)算任務(wù)限制的瓶頸。??第一次迭代?第二次迭代??讀取ＨＩＴＳ數(shù)Ａ將中間結(jié)果讀�。龋欤妫妫訑�(shù)將中間結(jié)果??據(jù)?，入ＭＦＳ?據(jù)?Ｒ１?＼、寫(xiě)入ＷＦＳ??圖?２－４?ＭａｐＲｅｄｕｃｅ?過(guò)程??Ｓｐａｒｋ計(jì)算框架通過(guò)引入ＲＤＤ解決了硬盤(pán)Ｉ／Ｏ速率限制問(wèn)題，因?yàn)椋遥模耐??全是在內(nèi)存進(jìn)行計(jì)算

【參考文獻(xiàn)】：
期刊論文
[1]基于大數(shù)據(jù)的液壓支架電液控制系統(tǒng)故障診斷[J]. 張雪梅.  工礦自動(dòng)化. 2018(12)
[2]基于大數(shù)據(jù)的電力二次設(shè)備故障診斷研究[J]. 陸曉,吳奕,崔玉,杜云龍.  電工技術(shù). 2018(21)
[3]一種基于Yarn云計(jì)算平臺(tái)與NMF的大數(shù)據(jù)聚類算法[J]. 馮新?lián)P,沈建京.  信息網(wǎng)絡(luò)安全. 2018(08)
[4]云計(jì)算和大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀與趨勢(shì)[J]. 傅耀威,楊國(guó)威,徐泓,孟憲佳,宋陽(yáng).  中國(guó)基礎(chǔ)科學(xué). 2018(03)
[5]工業(yè)大數(shù)據(jù)技術(shù)綜述[J]. 王建民.  大數(shù)據(jù). 2017(06)
[6]基于大數(shù)據(jù)挖掘技術(shù)的輸變電設(shè)備故障診斷方法[J]. 胡軍,尹立群,李振,郭麗娟,段煉,張玉波.  高電壓技術(shù). 2017(11)
[7]Spark環(huán)境下并行立方體計(jì)算方法[J]. 薩初日拉,周國(guó)亮,時(shí)磊,王劉旺,石鑫,朱永利.  計(jì)算機(jī)應(yīng)用. 2016(02)
[8]軌道電路故障診斷大數(shù)據(jù)處理技術(shù)綜述[J]. 程建云,魏文軍.  電子科技. 2015(11)
[9]面向大數(shù)據(jù)分析的在線學(xué)習(xí)算法綜述[J]. 李志杰,李元香,王峰,何國(guó)良,匡立.  計(jì)算機(jī)研究與發(fā)展. 2015(08)
[10]Hadoop YARN大數(shù)據(jù)計(jì)算框架及其資源調(diào)度機(jī)制研究[J]. 董春濤,李文婷,沈晴霓,吳中海.  信息通信技術(shù). 2015(01)

碩士論文
[1]基于大數(shù)據(jù)分析的風(fēng)電機(jī)組運(yùn)行狀態(tài)評(píng)估及故障診斷[D]. 段震清.山西大學(xué) 2018
[2]基于YARN高并發(fā)性的機(jī)會(huì)資源調(diào)度器的研究與實(shí)現(xiàn)[D]. 彭陽(yáng).哈爾濱工業(yè)大學(xué) 2017
[3]基于Spark的數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉鵬.浙江大學(xué) 2016
[4]基于大數(shù)據(jù)的數(shù)據(jù)挖掘引擎[D]. 樊嘉麒.北京郵電大學(xué) 2015



本文編號(hào)：2999086