本文關(guān)鍵詞：Hadoop中MapReduce的性能優(yōu)化及可視化工具開發(fā)

  更多相關(guān)文章： 云計(jì)算 Hadoop MapReduce 性能優(yōu)化 可視化

【摘要】：MapReduce是對(duì)海量數(shù)據(jù)并行處理的編程模型,云計(jì)算中的很多重要問題比如搜索引擎服務(wù)、龐大的科學(xué)計(jì)算任務(wù),海量數(shù)據(jù)的挖掘等都可以通過MapReduce來解決,MapReduce編程模型在云計(jì)算中起著至關(guān)重要的作用。隨著MapReduce越來越多的應(yīng)用到各個(gè)領(lǐng)域,MapReduce的性能問題也得到了學(xué)者的關(guān)注,同時(shí)隨著可視化技術(shù)的發(fā)展,性能優(yōu)化過程和結(jié)果的可視化、學(xué)習(xí)過程可視化等問題也成了近幾年的研究熱點(diǎn)。Hadoop作為Google公司Map Reduce編程模型最受歡迎的Java開源實(shí)現(xiàn),使之成為研究MapReduce最重要的平臺(tái),本文的性能優(yōu)化及可視化工具的開發(fā)就是基于此平臺(tái)展開研究的。Hadoop平臺(tái)在運(yùn)算過程中作業(yè)的調(diào)度方式起著至關(guān)重要的作用,一個(gè)好的作業(yè)調(diào)度算法可以使作業(yè)被執(zhí)行的順序、資源被分配的情況更加科學(xué)高效,可以提高Hadoop平臺(tái)的計(jì)算性能和資源使用率。首先,在性能優(yōu)化方面,本文對(duì)傳統(tǒng)的FIFO算法(First In First Out)進(jìn)行了研究,發(fā)現(xiàn)它沒有很好地實(shí)現(xiàn)數(shù)據(jù)的本地性,作業(yè)規(guī)模很小時(shí)會(huì)出現(xiàn)數(shù)據(jù)本地性明顯不好的問題,故對(duì)FIFO算法進(jìn)行了改進(jìn)以提高數(shù)據(jù)本地性。其次,搭建了Hadoop云計(jì)算平臺(tái),對(duì)文中改進(jìn)的算法和原始的FIFO算法進(jìn)行了對(duì)比實(shí)驗(yàn)和結(jié)果分析,結(jié)果表明改進(jìn)的算法提高了作業(yè)的數(shù)據(jù)本地性,節(jié)省了本地任務(wù)的數(shù)據(jù)傳輸時(shí)間,從而減少了所有作業(yè)的總完成時(shí)間：提高了系統(tǒng)的吞吐率。在可視化方面,本文開發(fā)了可視化工具,分別應(yīng)用在性能可視化、學(xué)習(xí)可視化兩個(gè)方面。(1)性能可視化：本文基于以上研究結(jié)果,將性能優(yōu)化結(jié)果的可視化加入了Hadoop可視化管理平臺(tái),從而開發(fā)出一款基于性能優(yōu)化的可視化工具,使用戶可以對(duì)結(jié)果數(shù)據(jù)進(jìn)行可視化操作,該模塊支持用戶選擇不同的展現(xiàn)形式,不同的展示平臺(tái)等。同時(shí)為了兼容更多地性能優(yōu)化方法,通過暴露接口的方式支持功能的擴(kuò)展。(2)學(xué)習(xí)可視化：本文面向云計(jì)算學(xué)習(xí)者,開發(fā)了一款可視化學(xué)習(xí)工具——云計(jì)算虛擬實(shí)驗(yàn)教學(xué)系統(tǒng)。系統(tǒng)中包含12個(gè)云計(jì)算系列實(shí)驗(yàn),主要分為云計(jì)算基礎(chǔ)知識(shí)類和實(shí)踐交互類,并將這些實(shí)驗(yàn)以虛擬化的方式展現(xiàn)出來。在實(shí)驗(yàn)設(shè)計(jì)中充分發(fā)揮虛擬實(shí)驗(yàn)的交互性、沉浸性和想象性的優(yōu)勢(shì),彌補(bǔ)課堂和實(shí)驗(yàn)教學(xué)的不足,打破空間與時(shí)間的限制,幫助學(xué)生了解云計(jì)算的基礎(chǔ)知識(shí)與Hadoop的基本組成和技術(shù)原理。虛擬實(shí)驗(yàn)開發(fā)采用Java技術(shù)與Flash技術(shù)相結(jié)合的方式,并用視頻加以佐證,使學(xué)生在實(shí)驗(yàn)前能夠充分了解實(shí)驗(yàn)的所有細(xì)節(jié)。更重要的是,實(shí)驗(yàn)?zāi)M了一些常見的錯(cuò)誤,并給出了處理方法,使同學(xué)們?cè)谶M(jìn)行實(shí)驗(yàn)時(shí)能夠及時(shí)應(yīng)對(duì)這些錯(cuò)誤,避免實(shí)際操作時(shí)對(duì)實(shí)驗(yàn)設(shè)備造成損害。
【關(guān)鍵詞】：云計(jì)算 Hadoop MapReduce 性能優(yōu)化 可視化
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52
【目錄】：

• 致謝5-6
• 摘要6-8
• ABSTRACT8-13
• 1 引言13-18
• 1.1 研究背景與意義13-14
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀14-16
• 1.2.1 MapReduce性能分析及優(yōu)化14-16
• 1.2.2 基于Hadoop平臺(tái)的可視化工具16
• 1.3 研究?jī)?nèi)容16-17
• 1.4 論文結(jié)構(gòu)17-18
• 2 相關(guān)技術(shù)與現(xiàn)有調(diào)度算法18-36
• 2.1 HADOOP簡(jiǎn)介18-26
• 2.1.1 HDFS分布式文件系統(tǒng)19-22
• 2.1.2 MapReduce計(jì)算框架22-26
• 2.1.3 本地化計(jì)算26
• 2.2 HADOOP調(diào)度算法26-29
• 2.2.1 FIFO調(diào)度算法26-27
• 2.2.2 Hadoop On Demand(HOD)27-28
• 2.2.3 計(jì)算能力調(diào)度算法(Capacity Scheduler)28
• 2.2.4 公平份額調(diào)度算法(Fair Scheduler)28-29
• 2.3 基于HADOOP的可視化技術(shù)研究29-35
• 2.3.1 非程序式可視化工具30-32
• 2.3.2 程序式可視化工具32-34
• 2.3.3 基于Hadoop的可視化工具34-35
• 2.4 本章小結(jié)35-36
• 3 FIFO算法的研究與改進(jìn)36-45
• 3.1 FIFO算法分析36-37
• 3.2 算法目標(biāo)37
• 3.3 算法設(shè)計(jì)37-40
• 3.3.1 算法基本思想37-38
• 3.3.2 作業(yè)閾值的設(shè)置38
• 3.3.3 算法的具體步驟38-40
• 3.4 實(shí)驗(yàn)平臺(tái)搭建40-43
• 3.4.1 集群配置方案40
• 3.4.2 Hadoop配置與安裝40-43
• 3.5 實(shí)驗(yàn)結(jié)果及分析43-44
• 3.6 本章小結(jié)44-45
• 4 基于性能優(yōu)化的可視化工具45-52
• 4.1 需求分析45-46
• 4.2 總體設(shè)計(jì)架構(gòu)46-47
• 4.3 界面設(shè)計(jì)及效果47-49
• 4.4 性能優(yōu)化結(jié)果的圖表展示49-51
• 4.5 本章小結(jié)51-52
• 5 可視化學(xué)習(xí)工具52-64
• 5.1 界面設(shè)計(jì)52-53
• 5.2 實(shí)驗(yàn)內(nèi)容介紹53-56
• 5.2.1 理論部分54
• 5.2.2 實(shí)踐部分54-56
• 5.3 實(shí)驗(yàn)環(huán)境56
• 5.3.1 虛擬實(shí)驗(yàn)環(huán)境56
• 5.3.2 現(xiàn)實(shí)實(shí)驗(yàn)環(huán)境56
• 5.4 技術(shù)實(shí)現(xiàn)56-63
• 5.4.1 Swing組件56-57
• 5.4.2 DJNativeSwing-SWT-1-0-2組件57-59
• 5.4.3 虛擬技術(shù)的實(shí)現(xiàn)59-62
• 5.4.4 存儲(chǔ)結(jié)構(gòu)62-63
• 5.5 本章小結(jié)63-64
• 6 總結(jié)與展望64-66
• 6.1 研究總結(jié)64
• 6.2 研究展望64-66
• 參考文獻(xiàn)66-70
• 作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果70-72
• 學(xué)位論文數(shù)據(jù)集72

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 丁燕云;魏娟;;淺析SQL數(shù)據(jù)庫(kù)的性能優(yōu)化問題[J];科技信息(學(xué)術(shù)研究);2007年34期

2 ;簡(jiǎn)單易用網(wǎng)絡(luò)性能優(yōu)化軟件[J];網(wǎng)絡(luò)與信息;1999年10期

3 袁山龍,吳潔明;證券網(wǎng)上集中交易系統(tǒng)性能優(yōu)化的研究與應(yīng)用[J];微計(jì)算機(jī)應(yīng)用;2003年05期

4 張建華;王群華;;對(duì)系統(tǒng)性能優(yōu)化的十點(diǎn)辨析[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2007年05期

5 王勇;;基于SQL數(shù)據(jù)庫(kù)的性能優(yōu)化問題分析[J];電腦知識(shí)與技術(shù);2008年15期

6 王保平;;性能優(yōu)化的簡(jiǎn)單法則[J];程序員;2009年09期

7 李培慧;何宗鍵;;某人力資源管理系統(tǒng)中用戶導(dǎo)入模塊性能優(yōu)化方案分析[J];科技信息;2010年35期

8 曉慧;;本本性能優(yōu)化圣手[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2012年01期

9 王江偉;陳琛;;淺析軟件性能優(yōu)化[J];科技風(fēng);2012年08期

10 楊波;;系統(tǒng)性能優(yōu)化問題研究[J];科技致富向?qū)?2013年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 姚杰;;寶鋼不銹鋼系統(tǒng)數(shù)據(jù)庫(kù)性能優(yōu)化方案[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2007年會(huì)論文集[C];2007年

2 代桂平;殷保群;奚宏生;周亞平;;受控M／G／1排隊(duì)系統(tǒng)的性能優(yōu)化[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

3 李彥;王屹;徐繼明;;ERP系統(tǒng)的性能優(yōu)化[A];全國(guó)煉鋼連鑄過程自動(dòng)化技術(shù)交流會(huì)論文集[C];2006年

4 趙海波;楊昭;方箏;徐振軍;;燃?xì)鈮嚎s式熱泵系統(tǒng)全年季節(jié)性能優(yōu)化[A];中國(guó)制冷學(xué)會(huì)2007學(xué)術(shù)年會(huì)論文集[C];2007年

5 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問題淺談[A];科技、工程與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展——中國(guó)科協(xié)第五屆青年學(xué)術(shù)年會(huì)論文集[C];2004年

6 奚宏生;唐昊;殷保群;周亞平;;Markov控制過程在緊致行動(dòng)集上的性能優(yōu)化[A];第二十一屆中國(guó)控制會(huì)議論文集[C];2002年

7 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問題淺談[A];鐵道部信息技術(shù)中心成立30周年暨鐵路運(yùn)輸管理信息系統(tǒng)（TMIS）工程全面竣工投產(chǎn)TMIS工程建設(shè)論文專輯（二）[C];2005年

8 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問題淺談[A];中國(guó)鐵道學(xué)會(huì)——2004年度學(xué)術(shù)活動(dòng)優(yōu)秀論文評(píng)獎(jiǎng)?wù)撐募痆C];2005年

9 杜勁松;李強(qiáng);包勁松;;國(guó)產(chǎn)600MW機(jī)組循環(huán)效率試驗(yàn)及性能優(yōu)化分析[A];2008中國(guó)可持續(xù)發(fā)展論壇論文集（3）[C];2008年

10 杜勁松;李強(qiáng);包勁松;;國(guó)產(chǎn)600MW機(jī)組循環(huán)效率試驗(yàn)及性能優(yōu)化分析[A];全國(guó)火電大機(jī)組（600MW級(jí)）競(jìng)賽第十二屆年會(huì)論文集（上冊(cè)）[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前4條

1 陳翔;性能優(yōu)化只能救火[N];中國(guó)計(jì)算機(jī)報(bào);2007年

2 本報(bào)記者 郭平;EMC簡(jiǎn)單高效實(shí)現(xiàn)私有云[N];計(jì)算機(jī)世界;2010年

3 ;安圖特引入新型數(shù)據(jù)加速解決方案[N];人民郵電;2008年

4 陳洪康 郭寶群 李雪梅;淺談VLDB性能優(yōu)化與維護(hù)[N];人民郵電;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 陳偉鋒;大規(guī)模復(fù)雜過程系統(tǒng)的高性能優(yōu)化理論與方法研究[D];浙江大學(xué);2011年

2 李磊;分布式系統(tǒng)中容錯(cuò)機(jī)制性能優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

3 賈海鵬;面向GPU計(jì)算平臺(tái)的若干并行優(yōu)化關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2012年

4 那俊;基于兩階段適應(yīng)的ASBS性能持續(xù)優(yōu)化方法研究[D];東北大學(xué);2011年

5 魏丫丫;Web傳輸?shù)男阅軆?yōu)化[D];清華大學(xué);2006年

6 何倩;P2P系統(tǒng)性能優(yōu)化若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2010年

7 毛宏燕;基于部分計(jì)值的服務(wù)性能優(yōu)化研究[D];上海交通大學(xué);2006年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 鄒興偉;防偽纖維熒光檢測(cè)儀性能優(yōu)化研究[D];西南科技大學(xué);2015年

2 邱能俊;科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究[D];貴州大學(xué);2015年

3 陳俊t，

本文編號(hào)：975699