發(fā)布時間：2018-06-17 10:24

  本文選題：Hadoop + MapReduce��； 參考：《北京郵電大學》2016年碩士論文

【摘要】：當今社會隨著信息技術發(fā)展,互聯(lián)網(wǎng)的普及,每天都有大量與人們活動相關的數(shù)據(jù)產(chǎn)生。而數(shù)據(jù)產(chǎn)生的同時,如何能夠有效的存儲大量數(shù)據(jù)并對數(shù)據(jù)進行有效分析,成為了人們迫切需要解決的問題。與此同時,由于數(shù)據(jù)量的激增,諸如數(shù)據(jù)挖掘以及網(wǎng)頁索引等數(shù)據(jù)敏感應用需要處理不斷增長的從幾GB到幾TB甚至PB的數(shù)據(jù)集。針對上述問題,Google提出了 MapReduce的編程模型。MapReduce編程模型的主要思想是用戶只需要表述想要執(zhí)行的計算,而不必關心并行計算、容錯、數(shù)據(jù)分布以及負載均衡等細節(jié)。Hadoop是MapReduce模型的開源實現(xiàn)之一。Hadoop框架包含兩個主要部分:HDFS(Hadoop Distributed File System)和 MapReduce,HDFS用于海量數(shù)據(jù)的存儲,MapReduce用于對海量數(shù)據(jù)進行研究分析。Hadoop因其高可靠性、高擴展性、高容錯性以及低廉的成本,迅速成為了流行的大數(shù)據(jù)處理平臺之一。本文通過文獻調(diào)研,針對Hadoop分布式計算平臺進行了研究。首先從Hadoop平臺的產(chǎn)生入手,論述了 Hadoop平臺產(chǎn)生的背景及意義,并且對Hadoop平臺架構及關鍵技術進行了研究。其次,文中研究了 Hadoop平臺現(xiàn)有的三種調(diào)度算法,即FIFO調(diào)度、計算能力調(diào)度(Capacity Scheduler)以及公平份額調(diào)度(Fair Scheduler),其中主要分析了各個調(diào)度算法產(chǎn)生意義、工作原理以及不足。然后本文基于現(xiàn)有三種調(diào)度算法的不足之處,提出了動態(tài)作業(yè)匹配調(diào)度算法(Dynamic Matching Based on Memory Scheduler,DMBMScheduler),新的算法在作業(yè)調(diào)度時考慮了內(nèi)存數(shù)據(jù)局部性,并在作業(yè)調(diào)度時依據(jù)實時匹配原則來進行作業(yè)分配。最后對算法進行實現(xiàn)以及實驗測試,實驗結果表明我們的算法成功達到了預期的目標,縮短了作業(yè)執(zhí)行時間以及作業(yè)響應時間,解決了現(xiàn)有算法的不足,并提高了 Hadoop平臺的整體性能。
[Abstract]:With the development of information technology and the popularization of Internet, a lot of data about people's activities are produced every day. At the same time, how to store and analyze the data effectively becomes an urgent problem. At the same time, due to the rapid increase of data volume, data-sensitive applications such as data mining and web page indexing need to deal with growing data sets ranging from several gigabytes to several terabytes or even PB. The main idea of MapReduce programming model. MapReduce programming model is that users only need to express the calculation they want to perform, and do not care about parallel computing, fault-tolerant, etc. Data distribution and load balancing. Hadoop is one of the open source implementations of MapReduce model. The Hadoop framework consists of two main parts: HDFSU Hadoop distributed File system) and MapReduceHDFS for mass data storage. Hadoop is used to study and analyze mass data. Hadoop is highly reliable. High scalability, high fault tolerance and low cost have rapidly become one of the popular big data processing platforms. In this paper, the Hadoop distributed computing platform is studied through literature investigation. Firstly, the background and significance of Hadoop platform are discussed, and the architecture and key technologies of Hadoop platform are studied. Secondly, this paper studies three scheduling algorithms of Hadoop platform, namely FIFO scheduling, capacity scheduling capacity Scheduler and Fair Scheduler, in which the significance, working principle and deficiency of each scheduling algorithm are analyzed. Then, based on the shortcomings of the existing three scheduling algorithms, this paper proposes a dynamic matching based on memory scheduling algorithm. The new algorithm takes memory data locality into account in job scheduling. And in the job scheduling according to the principle of real-time matching to carry out job assignment. Finally, the algorithm is implemented and tested. The experimental results show that our algorithm has successfully achieved the desired goal, shortened the job execution time and job response time, and solved the shortcomings of the existing algorithms. The whole performance of Hadoop platform is improved.
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 馮剛;馬偉;金京林;葛紅;鮑蘇蘇;;一種改進的公平分享調(diào)度算法[J];微電子學與計算機;2008年04期

2 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調(diào)度算法[J];軟件學報;2001年08期

3 伊鵬,張興明,郭云飛;基于輸入排隊的調(diào)度算法[J];計算機工程;2003年19期

4 易云山,桂志波;分組網(wǎng)絡中包調(diào)度算法研究[J];江蘇通信技術;2004年03期

5 任艷穎,張文軍,王彬;無線調(diào)度算法[J];計算機工程;2004年15期

6 劉越洋,席裕庚;基于兩步滾動的單機調(diào)度算法研究[J];計算機工程;2004年24期

7 楊梅樾;馬祥杰;;輸入排隊中調(diào)度算法的研究[J];信息工程大學學報;2006年02期

8 曾東海;劉海;金士堯;;集群負載調(diào)度算法性能評價[J];計算機工程;2006年11期

9 孫力娟;李超;張登銀;王汝傳;;低速網(wǎng)絡中實時補償型差額循環(huán)調(diào)度算法的設計和實現(xiàn)[J];電子與信息學報;2006年10期

10 劉東;張春元;;軟件容錯模型中反向與正向調(diào)度算法研究[J];計算機工程與科學;2007年09期

相關會議論文 前10條

1 彭洪;涂凍生;;面向操作的調(diào)度算法[A];1994中國控制與決策學術年會論文集[C];1994年

2 羅豪杰;許都;;IEEE 802.16 MAC層上行調(diào)度算法[A];四川省通信學會2007年學術年會論文集[C];2007年

3 張遵福;李樂民;;支持QoS的調(diào)度算法設計[A];2006中國西部青年通信學術會議論文集[C];2006年

4 姚建波;竺小松;李晶晶;;非對稱通信環(huán)境中兩種廣播調(diào)度算法的分析與比較[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

5 景維鵬;吳智博;劉宏偉;董劍;;一種支持任務依賴關系容錯調(diào)度算法[A];第十四屆全國容錯計算學術會議(CFTC'2011)論文集[C];2011年

6 李琪林;甄威;周明天;;一種適用于Master-Worker應用的動態(tài)統(tǒng)一調(diào)度算法的研究[A];2008'中國信息技術與應用學術論壇論文集（一）[C];2008年

7 呂鋒;涂曉東;;高性能交換結構調(diào)度算法的研究[A];四川省通信學會2006年學術年會論文集（二）[C];2006年

8 趙爾敦;肖靜;;無線網(wǎng)絡中基于信道狀態(tài)預測的調(diào)度算法[A];2006全國復雜網(wǎng)絡學術會議論文集[C];2006年

9 殷潔;;城市光網(wǎng)光纖自動調(diào)度算法研究和應用[A];中國通信學會信息通信網(wǎng)絡技術委員會2011年年會論文集（下冊）[C];2011年

10 陳平;王柏;徐六通;吳斌;王艷輝;;電信社群網(wǎng)絡中介度的網(wǎng)格并行算法及調(diào)度算法[A];2006年全國通信軟件學術會議論文集[C];2006年

相關重要報紙文章 前9條

1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡世界;2013年

8 張建輝 吳松;TD—SCDMA積跬步 HSDPA以致千里[N];通信產(chǎn)業(yè)報;2005年

9 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年

相關博士學位論文 前10條

1 劉曉鋒;可擴展多級多平面交換網(wǎng)絡及調(diào)度算法研究[D];電子科技大學;2015年

2 沈文楓;CPU-GPU異構高性能計算中的負載預測調(diào)度算法研究及應用[D];上海大學;2016年

3 胡永東;移動WiMAX網(wǎng)絡中跨層的保證QoS解決方案研究[D];東南大學;2017年

4 馬丹;任務間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學;2007年

5 田沖;無線網(wǎng)絡跨層調(diào)度算法研究[D];山東大學;2009年

6 黃平;分布式交換系統(tǒng)隊列結構及調(diào)度算法研究[D];華中科技大學;2006年

7 劉惠;嵌入式系統(tǒng)節(jié)能調(diào)度算法研究[D];西安電子科技大學;2011年

8 趙明宇;集群系統(tǒng)的調(diào)度算法研究[D];哈爾濱工業(yè)大學;2007年

9 吳剛;對低功耗進程調(diào)度算法的研究[D];復旦大學;2006年

10 牛進平;3G長期演進系統(tǒng)中調(diào)度算法和干擾抑制技術研究[D];西安電子科技大學;2014年

相關碩士學位論文 前10條

1 王佳琪;Hadoop平臺下調(diào)度算法及其改進策略研究[D];北京郵電大學;2016年

2 孫晴晴;Hadoop平臺下作業(yè)調(diào)度算法的研究與優(yōu)化[D];西安理工大學;2016年

3 丁雪飛;純電動車整車CAN網(wǎng)絡實時調(diào)度算法的研究[D];遼寧大學;2015年

4 王德龍;Hadoop平臺下作業(yè)調(diào)度算法的研究與改進[D];南京信息工程大學;2015年

5 袁林偉;載波聚合資源分配及調(diào)度算法研究[D];西南交通大學;2015年

6 景木均;3GPP LTE系統(tǒng)中基于多目標決策的下行資源調(diào)度算法研究與實現(xiàn)[D];西南交通大學;2015年

7 劉盼紅;大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調(diào)度算法的研究[D];河北工程大學;2015年

8 楊軒;高鐵無線通信VoIP業(yè)務與多業(yè)務共存的資源調(diào)度算法[D];西南交通大學;2015年

9 陳傳慶;基于衰落信道的無線鏈路調(diào)度算法研究[D];曲阜師范大學;2015年

10 陳文龍;Hadoop平臺下作業(yè)調(diào)度方法研究[D];南京理工大學;2015年

，

本文編號：2030710