本文關鍵詞：基于Mesos的分布式計算資源調(diào)度研究與應用　出處：《昆明理工大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： MUSER 分布式計算 科學數(shù)據(jù)處理 Mesos 資源調(diào)度

【摘要】：現(xiàn)代天文望遠鏡產(chǎn)生的數(shù)據(jù)量非常大,而且增長迅速。因此如何快速、高效的處理這些驟增的數(shù)據(jù)成為天文學研究中的一項主要問題。為了解決此問題,我國天文科學家提出了明安圖射電頻譜日像儀(MingantuU Spectral Radioheliograph,MUSER)。本文根據(jù)MUSER科學數(shù)據(jù)處理系統(tǒng)的需求,結合新興分布式集群資源管理系統(tǒng)Mesos來解決MUSER中天文數(shù)據(jù)處理的難題。主要完成工作如下三點:一、從MUSER的分布式計算需求出發(fā),對MUSER在分布式集群中的數(shù)據(jù)處理進行需求分析,然后設計了一種分布式框架OpenCluster,用于在海量天文數(shù)據(jù)處理中的計算。二、在分布式框架OpenCluster設計的基礎之上,對MUSER分布式集群中的資源調(diào)度需求進行分析,然后基于Mesos的關鍵技術實現(xiàn)其在MUSER分布式集群中的應用,從而完成OpenCluster中Mesos集群調(diào)度模式的開發(fā)。三、針對Mesos中的DRF算法在MUSER分布式集群中的缺陷,從而提出一種基于DRF算法改進的M-H-DRF算法。最后對此算法的性能進行對比測試,證明了優(yōu)化后的算法在MUSER分布式集群中有良好的效果。整體來看,本文結合MUSER海量天文數(shù)據(jù)處理的需求,開發(fā)了一個輕量級的分布式框架OpenCluster,并將其與Mesos結合完成Mesos集群調(diào)度模式的設計,最后對Mesos中的資源調(diào)度算法DRF進行改進,使其更適合MUSER分布式集群�？傊�,Mesos在射電天文數(shù)據(jù)處理系統(tǒng)中的研究應用將為我國天文科學研究提供良好的保障。
[Abstract]:So how to deal with these sudden data quickly and efficiently becomes a major problem in astronomy research . In order to solve this problem , Chinese astronomical scientists have proposed Mingantuu Spectral Radiographs graph ( MUSER ) . In this paper , according to the requirements of MUSER scientific data processing system , the problem of astronomical data processing in MUSER is solved by combining with the emerging distributed cluster resource management system Mesos .

【學位授予單位】：昆明理工大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：P111

【參考文獻】

相關期刊論文 前5條

1 董春濤;李文婷;沈晴霓;吳中海;;Hadoop YARN大數(shù)據(jù)計算框架及其資源調(diào)度機制研究[J];信息通信技術;2015年01期

2 王威;顏毅華;陳志軍;;CSRH陣列設計研究[J];天文研究與技術;2013年01期

3 劉東浩;顏毅華;李沙;王威;;厘米—分米波射電日像儀天線陣基線測量[J];天文研究與技術;2013年02期

4 顏毅華;張堅;陳志軍;姬國樞;王威;劉飛;;關于太陽厘米—分米波段頻譜日像儀研究進展[J];天文研究與技術.國家天文臺臺刊;2006年02期

5 王威;顏毅華;張堅;姬國樞;陳志軍;;CSRH陣列設計研究及饋源設計的初步考慮[J];天文研究與技術.國家天文臺臺刊;2006年02期

相關會議論文 前1條

1 譚寶林;;中國厘米分米波射電頻譜日像儀科學目標[A];太陽射電天文學——新一代射電頻譜日像儀建設進展研討會摘要集[C];2010年

相關碩士學位論文 前1條

1 陳泰燃;基于遠程對象技術的分布式科學數(shù)據(jù)計算框架研究[D];昆明理工大學;2016年

，

本文編號：1414137