【摘要】：近年來,隨著計算機信息技術的不斷發(fā)展,數據信息在各個行業(yè)已經呈爆炸式增長。據全球互聯網中心數據,截止到2020年底,全球數據量預計將達到35ZB。就像人們說的,大數據時代正式到來了。在處理海量數據的關鍵時刻,云計算技術隨之產生,隨著技術不斷發(fā)展,處理大數據的云計算技術已被廣泛應用于公司和企業(yè),例如Google、Microsoft、阿里巴巴,這些公司的云計算系統(tǒng)大多基于一個分布式處理軟件框架,即hadoop平臺。Hadoop是一個安全、可靠、可并行化運行的開放式源代碼框架,并且可實現對應用開發(fā)者的透明處理,用戶并不需要了解hadoop底層實現細節(jié)。但畢竟云計算技術研究時間較短,技術研究還不太深入,云計算仍存在一些挑戰(zhàn),例如安全性,性能,資源管理,可靠性等。資源管理問題與任務調度有關,云計算任務調度是指將用戶任務分配給可用資源,以改善任務的執(zhí)行,提高資源利用率。因此通過改進Hadoop平臺任務調度方法可以提高Hadoop平臺資源利用率和整體性能。作業(yè)調度技術是hadoop平臺的核心技術,它主要負責將系統(tǒng)中空閑資源分配給各個作業(yè),以及控制作業(yè)執(zhí)行的順序,它對于hadoop平臺計算資源分配及整體性能起著至關重要的作用。因此我們對于作業(yè)調度算法的研究具有重要意義。云計算資源的分配是基于SLA服務的,任務執(zhí)行成本是任務調度算法的主要性能參數之一。另外,任務調度算法被認為是一個復雜的過程,因為它必須充分利用可用資源來執(zhí)行大量任務。這就需要開發(fā)任務調度算法時應考慮許多參數,從用戶的角度來看任務編譯時間,成本和響應時間非常重要。而從云提供商的角度來看,資源利用率,容錯能力和功耗則很重要。本文首先介紹了hadoop平臺的背景、結構及hadoop核心技術;然后對單隊列調度(FIFO)、容量調度(Capacity)、公平調度(Fair)三種現有的調度算法作了詳盡介紹,并在此基礎上對如何改進算法的不足、提高系統(tǒng)整體性能作了介紹,最后提出基于遺傳算法(GA)的改進任務調度策略用于分配和執(zhí)行應用程序的任務,以減少任務完成時間,降低執(zhí)行成本,并最大限度地提高資源利用率。提出的算法的性能已經使用Cloud Sim工具包進行了評估。
[Abstract]:In recent years, with the continuous development of computer information technology, data information has been explosive growth in various industries. According to the Global Internet Center, by the end of 2020, the global data volume is expected to reach 35 ZB. As they say, the big data era is officially coming. With the development of cloud computing technology, cloud computing technology to deal with big data has been widely used in companies and enterprises, such as Google Microsoft, Alibaba, Most of the cloud computing systems of these companies are based on a distributed processing software framework, hadoop platform. Hadoop is a secure, reliable, parallelized open source code framework, and can achieve transparent processing to application developers. Users do not need to know the details of hadoop's underlying implementation. But after all, cloud computing technology research time is short, technology research is not very deep, cloud computing still has some challenges, such as security, performance, resource management, reliability and so on. Resource management is related to task scheduling. Cloud computing task scheduling is to assign user tasks to available resources to improve task execution and resource utilization. Therefore, the resource utilization and overall performance of Hadoop platform can be improved by improving the task scheduling method of Hadoop platform. Job scheduling is the core technology of hadoop platform. It is mainly responsible for allocating free resources to each job in the system and controlling the order of job execution. It plays an important role in computing resource allocation and overall performance of hadoop platform. Therefore, it is of great significance to study the job scheduling algorithm. The allocation of cloud computing resources is based on SLA services, and task execution cost is one of the main performance parameters of task scheduling algorithm. In addition, task scheduling algorithm is considered to be a complex process, because it must make full use of available resources to perform a large number of tasks. Many parameters should be taken into account when developing task scheduling algorithms. From the point of view of the user, the compilation time, cost and response time of the task are very important. From the point of view of cloud provider, resource utilization, fault tolerance and power consumption are very important. This paper first introduces the background, structure and hadoop core technology of hadoop platform, then introduces the three existing scheduling algorithms of (FIFO), capacity scheduling (Capacity), fair scheduling (Fair) in detail, and on the basis of this, gives a detailed description of how to improve the algorithm. Finally, an improved task scheduling strategy based on genetic algorithm (GA) is proposed to allocate and execute the tasks of the application program, in order to reduce the task completion time and the execution cost. And to maximize resource utilization. The performance of the proposed algorithm has been evaluated using the Cloud Sim toolkit.
【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP301.6

【相似文獻】

相關期刊論文 前10條

1 馮剛;馬偉;金京林;葛紅;鮑蘇蘇;;一種改進的公平分享調度算法[J];微電子學與計算機;2008年04期

2 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調度算法[J];軟件學報;2001年08期

3 伊鵬,張興明,郭云飛;基于輸入排隊的調度算法[J];計算機工程;2003年19期

4 易云山,桂志波;分組網絡中包調度算法研究[J];江蘇通信技術;2004年03期

5 任艷穎,張文軍,王彬;無線調度算法[J];計算機工程;2004年15期

6 劉越洋,席裕庚;基于兩步滾動的單機調度算法研究[J];計算機工程;2004年24期

7 楊梅樾;馬祥杰;;輸入排隊中調度算法的研究[J];信息工程大學學報;2006年02期

8 曾東海;劉海;金士堯;;集群負載調度算法性能評價[J];計算機工程;2006年11期

9 孫力娟;李超;張登銀;王汝傳;;低速網絡中實時補償型差額循環(huán)調度算法的設計和實現[J];電子與信息學報;2006年10期

10 劉東;張春元;;軟件容錯模型中反向與正向調度算法研究[J];計算機工程與科學;2007年09期

相關會議論文 前10條

1 彭洪;涂凍生;;面向操作的調度算法[A];1994中國控制與決策學術年會論文集[C];1994年

2 羅豪杰;許都;;IEEE 802.16 MAC層上行調度算法[A];四川省通信學會2007年學術年會論文集[C];2007年

3 張遵福;李樂民;;支持QoS的調度算法設計[A];2006中國西部青年通信學術會議論文集[C];2006年

4 姚建波;竺小松;李晶晶;;非對稱通信環(huán)境中兩種廣播調度算法的分析與比較[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

5 景維鵬;吳智博;劉宏偉;董劍;;一種支持任務依賴關系容錯調度算法[A];第十四屆全國容錯計算學術會議(CFTC'2011)論文集[C];2011年

6 李琪林;甄威;周明天;;一種適用于Master-Worker應用的動態(tài)統(tǒng)一調度算法的研究[A];2008'中國信息技術與應用學術論壇論文集（一）[C];2008年

7 呂鋒;涂曉東;;高性能交換結構調度算法的研究[A];四川省通信學會2006年學術年會論文集（二）[C];2006年

8 趙爾敦;肖靜;;無線網絡中基于信道狀態(tài)預測的調度算法[A];2006全國復雜網絡學術會議論文集[C];2006年

9 殷潔;;城市光網光纖自動調度算法研究和應用[A];中國通信學會信息通信網絡技術委員會2011年年會論文集（下冊）[C];2011年

10 陳平;王柏;徐六通;吳斌;王艷輝;;電信社群網絡中介度的網格并行算法及調度算法[A];2006年全國通信軟件學術會議論文集[C];2006年

相關重要報紙文章 前1條

1 張建輝 吳松;TD—SCDMA積跬步 HSDPA以致千里[N];通信產業(yè)報;2005年

相關博士學位論文 前10條

1 劉曉鋒;可擴展多級多平面交換網絡及調度算法研究[D];電子科技大學;2015年

2 沈文楓;CPU-GPU異構高性能計算中的負載預測調度算法研究及應用[D];上海大學;2016年

3 胡永東;移動WiMAX網絡中跨層的保證QoS解決方案研究[D];東南大學;2017年

4 馬丹;任務間相互依賴的并行作業(yè)調度算法研究[D];華中科技大學;2007年

5 田沖;無線網絡跨層調度算法研究[D];山東大學;2009年

6 黃平;分布式交換系統(tǒng)隊列結構及調度算法研究[D];華中科技大學;2006年

7 劉惠;嵌入式系統(tǒng)節(jié)能調度算法研究[D];西安電子科技大學;2011年

8 趙明宇;集群系統(tǒng)的調度算法研究[D];哈爾濱工業(yè)大學;2007年

9 吳剛;對低功耗進程調度算法的研究[D];復旦大學;2006年

10 牛進平;3G長期演進系統(tǒng)中調度算法和干擾抑制技術研究[D];西安電子科技大學;2014年

相關碩士學位論文 前10條

1 丁雪飛;純電動車整車CAN網絡實時調度算法的研究[D];遼寧大學;2015年

2 王德龍;Hadoop平臺下作業(yè)調度算法的研究與改進[D];南京信息工程大學;2015年

3 袁林偉;載波聚合資源分配及調度算法研究[D];西南交通大學;2015年

4 景木均;3GPP LTE系統(tǒng)中基于多目標決策的下行資源調度算法研究與實現[D];西南交通大學;2015年

5 劉盼紅;大數據環(huán)境下Hadoop作業(yè)調度算法的研究[D];河北工程大學;2015年

6 楊軒;高鐵無線通信VoIP業(yè)務與多業(yè)務共存的資源調度算法[D];西南交通大學;2015年

7 陳傳慶;基于衰落信道的無線鏈路調度算法研究[D];曲阜師范大學;2015年

8 陳文龍;Hadoop平臺下作業(yè)調度方法研究[D];南京理工大學;2015年

9 陳瑜;針對Hadoop集群的節(jié)能調度算法研究[D];電子科技大學;2015年

10 朱新新;網絡端到端流量的QoS優(yōu)化技術研究[D];電子科技大學;2014年

，

本文編號：2150572