MapReduce是數據中心中一種流行的數據并行處理框架,其通過將作業(yè)拆分成多個任務并交給多個節(jié)點處理,以較低成本和較高效率完成海量數據的處理。MapReduce將作業(yè)拆分成映射(map)任務和歸約(reduce)任務,并將作業(yè)處理流程分為映射(map)階段,洗牌(shuffle)階段和歸約(reduce)階段;其中,歸約任務與映射任務之間的數據傳輸階段被稱為洗牌階段。在運行映射任務和歸約任務之前,任務所在節(jié)點會從數據所在節(jié)點獲取任務運行所需的數據。因此,合理地將映射任務和歸約任務部署到合適的計算節(jié)點能減少網絡流量,以提高MapReduce性能。同時,洗牌階段占據整個作業(yè)運行時間的很大一部分,因此合理地調度洗牌數據能夠減少洗牌階段的調度長度,從而改善MapReduce性能。本文針對MapReduce任務獲取所需的網絡流量和洗牌數據傳輸調度長度,分別研究了任務調度問題和洗牌數據傳輸調度問題,主要研究內容如下:(1)MapReduce框架中任務調度問題。在任務調度問題中,如何確定任務調度位置從而最小化網絡流量是決定算法性能的關鍵。目前的調度算法僅單獨針對映射任務或歸約任務進行調度優(yōu)化,而未綜...

【文章頁數】：61 頁

【學位級別】：碩士

【部分圖文】：

圖3.1不同映射任務數量下的（a）網絡流量（b）NTRP

數據副本系數為3，其中一個副本隨機分布在節(jié)點上，其余副本位置按照MapReduce默認規(guī)則分布在其他節(jié)點上，每個任務執(zhí)行所需要的處理能力隨機生成。在對比BOLAS算法時，由于BOLAS算法只調度映射任務，因此該算法調度歸約任務的部分使用MapReduce的默認調度....

圖3.2不同歸約任務數量下的（a）網絡流量（b）NTRP

第三章MapReduce框架中映射任務和歸約任務的聯(lián)合調度問題這是因為算法RAJS在進行調度時，同時考慮了映射任務調度和歸約任務調，而RTS算法僅僅針對歸約任務調度，因此隨著映射任務數量的增加，RAJS算法提高的越來越明顯。相比之下，隨著數據量的增加，RAJS算法的....

圖3.3不同網絡拓撲節(jié)點下的（a）網絡流量（b）NTRP

合肥工業(yè)大學學術碩士研究生學位論文這是因為RTS針對歸約任務調度進行優(yōu)化，隨著歸約任務數量增加，RTS算法的性能有著顯著提高，但是由于RAJS同時還考慮了映射任務調度，因此最后RAJS算法相比BOLAS算法能提高19.5%左右。（3）節(jié)點數量的影響本組實驗通過改....

圖4.1不同數據量下的調度長度Fig4.1Makespanunderdifferentnumberofdatawiththesizesofdatarandomlygeneratedin

圖4.1不同數據量下的調度長度Makespanunderdifferentnumberofdatawiththesizesofdatarandom1-10MBand1-100MB圖4.2不同數據量下的網絡利用率

本文編號：4024691