本文關鍵詞：面向iVCE云平臺的數(shù)據(jù)分析任務調(diào)度系統(tǒng)的設計與實現(xiàn)

  更多相關文章： 云計算 任務調(diào)度 任務劃分 資源匹配

【摘要】：隨著大數(shù)據(jù)時代的到來,對數(shù)據(jù)的處理能力要求也越來越高。云計算作為一種高效的計算模式,在處理海量數(shù)據(jù)時有著得天獨厚的優(yōu)勢。各大IT巨頭紛紛推出了自己的云計算平臺,為人們提供高效、快速的服務。此外,很多機構組織也開始搭建私有云平臺,用于處理對安全性有較高要求的數(shù)據(jù)。因此,如何對任務進行合理、高效地調(diào)度,成為如今云計算領域亟待解決的問題。本文提出了以應用評測結果為依據(jù),對任務進行劃分以及資源匹配的任務調(diào)度策略,設計并實現(xiàn)了面向i VCE云平臺的數(shù)據(jù)分析任務調(diào)度系統(tǒng)。該系統(tǒng)可對平臺上的數(shù)據(jù)分析任務進行更加合理地切分,并選擇資源類型與任務資源需求最匹配的節(jié)點來執(zhí)行任務。首先,本文介紹了云計算任務調(diào)度的相關理論,包括云計算概述、云計算任務調(diào)度的特點以及經(jīng)典的調(diào)度算法。其次,本文設計并實現(xiàn)了面向i VCE云平臺的數(shù)據(jù)分析任務調(diào)度系統(tǒng)。該系統(tǒng)分為應用管理、任務管理、任務調(diào)度三個子系統(tǒng)。其中應用管理子系統(tǒng)包括應用注冊以及應用評測,分別負責應用的添加以及對應用的資源消耗和運行狀況進行評測。任務管理子系統(tǒng)包括任務提交、任務劃分、任務隊列管理以及任務狀態(tài)監(jiān)測,任務提交負責用戶添加任務,任務劃分在功能和數(shù)據(jù)兩個級別分別對任務進行劃分,將大任務變?yōu)楦菀渍{(diào)度和執(zhí)行的小任務,任務隊列管理可以滿足調(diào)度過程中任務不同狀態(tài)的需求,包括等待任務隊列、就緒任務隊列、掛起任務隊列和重調(diào)度任務隊列,任務狀態(tài)監(jiān)測負責實時監(jiān)測任務所處的調(diào)度狀態(tài)。任務調(diào)度子系統(tǒng)包括資源匹配、任務分配以及任務重調(diào)度,資源匹配負責為任務選取合適的執(zhí)行節(jié)點,任務分配負責將任務下發(fā)至執(zhí)行節(jié)點并回收結果,任務重調(diào)度負責任務在調(diào)度過程中出現(xiàn)異常之后進行再次調(diào)度。最后,本文對i VCE云平臺的數(shù)據(jù)分析任務調(diào)度系統(tǒng)從應用評估、任務劃分、任務狀態(tài)監(jiān)測等方面進行測試,并以DNS源IP異常檢測作為數(shù)據(jù)分析任務的實例在整體上對系統(tǒng)進行測試,結果表明該系統(tǒng)達到設計目標。綜上所述,本文設計并實現(xiàn)了面向i VCE云平臺的數(shù)據(jù)分析任務調(diào)度系統(tǒng),具備應用管理、任務管理、任務調(diào)度等功能,達到系統(tǒng)設計的要求。
【關鍵詞】：云計算 任務調(diào)度 任務劃分 資源匹配
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.09;TP301.6
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-15
• 1.1 課題來源10
• 1.2 課題研究的目的和意義10-11
• 1.3 國內(nèi)外研究現(xiàn)狀11-13
• 1.4 本文研究內(nèi)容及組織結構13-15
• 第2章 云計算任務調(diào)度相關理論介紹15-22
• 2.1 云計算任務調(diào)度概述15-18
• 2.1.1 云計算概述15-16
• 2.1.2 云計算任務調(diào)度的模型16-18
• 2.1.3 云計算任務調(diào)度的特點18
• 2.2 任務調(diào)度的相關算法18-21
• 2.2.1 經(jīng)典的調(diào)度算法18-19
• 2.2.2 啟發(fā)式的調(diào)度算法19-21
• 2.3 本章小結21-22
• 第3章 數(shù)據(jù)分析任務調(diào)度系統(tǒng)的設計22-42
• 3.1 系統(tǒng)需求分析22-24
• 3.1.1 系統(tǒng)功能需求22-23
• 3.1.2 系統(tǒng)非功能需求23-24
• 3.2 系統(tǒng)總體設計24-27
• 3.2.1 系統(tǒng)設計目標24
• 3.2.2 系統(tǒng)功能結構設計24-25
• 3.2.3 系統(tǒng)架構設計25-26
• 3.2.4 系統(tǒng)數(shù)據(jù)庫設計26-27
• 3.3 系統(tǒng)詳細設計27-41
• 3.3.1 應用管理子系統(tǒng)設計27-32
• 3.3.2 任務管理子系統(tǒng)設計32-38
• 3.3.3 任務調(diào)度子系統(tǒng)設計38-41
• 3.4 本章小結41-42
• 第4章 數(shù)據(jù)分析任務調(diào)度系統(tǒng)實現(xiàn)42-59
• 4.1 應用管理子系統(tǒng)實現(xiàn)42-48
• 4.1.1 應用注冊模塊實現(xiàn)42-44
• 4.1.2 應用評測模塊實現(xiàn)44-48
• 4.2 任務管理子系統(tǒng)實現(xiàn)48-54
• 4.2.1 任務提交模塊實現(xiàn)48-51
• 4.2.2 任務劃分模塊實現(xiàn)51-52
• 4.2.3 任務隊列管理模塊實現(xiàn)52-53
• 4.2.4 任務狀態(tài)監(jiān)測模塊實現(xiàn)53-54
• 4.3 任務調(diào)度子系統(tǒng)實現(xiàn)54-58
• 4.3.1 資源匹配模塊54-55
• 4.3.2 任務分配模塊55-57
• 4.3.3 任務重調(diào)度57-58
• 4.4 本章小結58-59
• 第5章 數(shù)據(jù)分析任務調(diào)度系統(tǒng)測試59-76
• 5.1 系統(tǒng)測試環(huán)境59-60
• 5.2 系統(tǒng)功能測試60-68
• 5.2.1 應用評測模塊功能測試60-64
• 5.2.2 任務劃分模塊功能測試64-65
• 5.2.3 任務狀態(tài)監(jiān)模塊測試65-68
• 5.3 系統(tǒng)性能測試68-70
• 5.3.1 任務調(diào)度能力測試68-69
• 5.3.2 負載均衡能力測試69-70
• 5.4 數(shù)據(jù)分析任務實例測試70-74
• 5.4.1 DNS源IP異常檢測介紹70-71
• 5.4.2 數(shù)據(jù)分析任務實例設計71-72
• 5.4.3 數(shù)據(jù)分析任務實例測試72-74
• 5.5 本章小結74-76
• 結論76-77
• 參考文獻77-81
• 攻讀碩士學位期間發(fā)表的論文及其他成果81-83
• 致謝83

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 孟憲福;基于優(yōu)先級的任務調(diào)度與負載均衡模型研究[J];小型微型計算機系統(tǒng);2005年09期

2 廖曉文;廖京盛;;時間觸發(fā)模式的任務調(diào)度與分解策略[J];單片機與嵌入式系統(tǒng)應用;2006年07期

3 樊曉香;;任務調(diào)度問題機制設計[J];計算機技術與發(fā)展;2008年07期

4 黃漾;;分布式環(huán)境下任務調(diào)度探討[J];電腦知識與技術;2011年19期

5 陳軍;謝立;孫鐘秀;;分布式任務調(diào)度研究的新趨向[J];計算機研究與發(fā)展;1990年04期

6 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡任務調(diào)度算法仿真[J];計算機仿真;2013年11期

7 李陶深;李明麗;張希翔;;云計算環(huán)境下任務調(diào)度技術的研究進展[J];玉林師范學院學報;2014年02期

8 劉雄文,陸鑫達;元計算環(huán)境中任務調(diào)度的深入分析[J];計算機工程與應用;2002年17期

9 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計算中任務調(diào)度研究綜述[J];計算機應用研究;2005年05期

10 張國海;江平宇;周光輝;;多設計任務調(diào)度的非合作博弈研究[J];西安交通大學學報;2007年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機制的任務調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學術交流會——通信與信息技術會議論文集（下）[C];2006年

2 張磊;馬軍;;描述短時資源混雜占用型任務調(diào)度的數(shù)學模型與算法[A];2005年全國理論計算機科學學術年會論文集[C];2005年

3 王軍;巢玉強;彭釗軼;;基于任務調(diào)度的電能量計量采集系統(tǒng)的設計與實現(xiàn)[A];2006電力系統(tǒng)自動化學術交流研討大會論文集[C];2006年

4 張志強;王萬玉;王建平;李凡;袁剛;;多站多星任務調(diào)度優(yōu)化模型研究[A];第二十三屆全國空間探測學術交流會論文摘要集[C];2010年

5 韓云;于炯;張偉;王命全;;基于負載均衡的任務調(diào)度改進算法[A];2010年全國開放式分布與并行計算機學術會議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務調(diào)度的研究[A];2006北京地區(qū)高校研究生學術交流會——通信與信息技術會議論文集（上）[C];2006年

7 張曉云;岳繼光;楊麟祥;;零星任務調(diào)度在多控制任務系統(tǒng)中的應用[A];第16屆中國過程控制學術年會暨第4屆全國故障診斷與安全性學術會議論文集[C];2005年

8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災星座運控任務調(diào)度系統(tǒng)[A];第二十五屆全國空間探測學術研討會摘要集[C];2012年

9 黃文澤;邵峰晶;孫仁誠;;基于雙總線安全結構的操作系統(tǒng)任務調(diào)度[A];2009全國計算機網(wǎng)絡與通信學術會議論文集[C];2009年

10 楊艦;黃道平;李小亞;;GDCS任務調(diào)度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 王波;Linux與服務器集群技術[N];中國計算機報;2002年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 趙凡宇;航天器多目標觀測任務調(diào)度與規(guī)劃方法研究[D];北京理工大學;2015年

2 孫明明;云計算平臺上任務調(diào)度算法的研究[D];中國科學技術大學;2015年

3 郭力爭;云計算環(huán)境下資源部署與任務調(diào)度研究[D];東華大學;2015年

4 黃萬偉;基于服務屬性區(qū)分的可重構任務調(diào)度研究[D];解放軍信息工程大學;2009年

5 瞿進;可重構系統(tǒng)軟硬功能劃分及任務調(diào)度技術研究[D];解放軍信息工程大學;2011年

6 周雙娥;實時分布容錯系統(tǒng)的任務調(diào)度技術研究[D];哈爾濱工程大學;2003年

7 柴亞輝;基于FPGA的高性能計算架構硬件任務與資源模型研究[D];上海大學;2012年

8 金剛;云環(huán)境下任務調(diào)度關鍵問題研究[D];吉林大學;2015年

9 耿曉中;基于多核分布式環(huán)境下的任務調(diào)度關鍵技術研究[D];吉林大學;2013年

10 陳錫明;基于NOW的任務調(diào)度和負載平衡方法研究[D];電子科技大學;2000年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 張巧龍;云計算環(huán)境下任務調(diào)度問題的研究[D];江南大學;2015年

2 徐彬;云環(huán)境下基于動態(tài)融合遺傳蟻群算法的DAG任務調(diào)度研究[D];南京信息工程大學;2015年

3 鐘瀟柔;基于動態(tài)遺傳算法的云計算任務節(jié)能調(diào)度策略研究[D];哈爾濱工業(yè)大學;2015年

4 李婷;分布式爬蟲任務調(diào)度與AJAX頁面抓取研究[D];電子科技大學;2015年

5 趙彬;基于任務調(diào)度和動態(tài)資源調(diào)整的云計算節(jié)能機制及能效分析[D];廣西大學;2015年

6 楊鏡;基于人工免疫系統(tǒng)的云平臺動態(tài)任務調(diào)度[D];電子科技大學;2014年

7 王一冰;基于ASP.NET的任務調(diào)度管理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2013年

8 白晶晶;云環(huán)境下安全和可靠性驅(qū)動的工作流任務調(diào)度研究[D];新疆大學;2015年

9 呂信科;基于多核陣列的任務調(diào)度技術研究[D];電子科技大學;2015年

10 溫宇昂;單階段差異化多機可拆分任務調(diào)度優(yōu)化方法[D];東北大學;2013年

，

本文編號：787998