本文關(guān)鍵詞：基于Spark的乘潮水位任務(wù)控制模式研究，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著計(jì)算機(jī)技術(shù)和海洋環(huán)境信息觀測(cè)技術(shù)的進(jìn)步與發(fā)展,海洋環(huán)境信息越來越呈現(xiàn)出數(shù)據(jù)量大、多尺度、類型復(fù)雜、形態(tài)多樣、時(shí)空特性強(qiáng)、動(dòng)態(tài)更新頻繁的特點(diǎn),為了更好的研究長時(shí)間序列下空間數(shù)據(jù)場(chǎng)的處理問題,結(jié)合目前我國數(shù)值計(jì)算服務(wù)模式的發(fā)展特點(diǎn),將Spark框架應(yīng)用于乘潮水位任務(wù)控制模式中,改變了傳統(tǒng)乘潮水位計(jì)算的業(yè)務(wù)模式。近年來,云計(jì)算技術(shù)迅速發(fā)展,成為經(jīng)濟(jì)社會(huì)發(fā)展的重要推動(dòng)力,并行計(jì)算為處理海洋數(shù)據(jù)提供了一個(gè)新的技術(shù)路線。Spark并行計(jì)算框架作為一種內(nèi)存式計(jì)算框架,在沿用傳統(tǒng)Hadoop云計(jì)算框架優(yōu)點(diǎn)的基礎(chǔ)上,設(shè)計(jì)了一個(gè)更加通用的編程抽象,它可以處理不同的計(jì)算任務(wù),實(shí)現(xiàn)了一個(gè)MapReduce的擴(kuò)展,被稱為彈性分砸式數(shù)據(jù)集(RDD)。RDD大大增加了Spark并行計(jì)算框架的通用性,增加了高效的數(shù)據(jù)共享,單個(gè)執(zhí)行模型可以有效地支持不同的分布式計(jì)算。基于Spark框架的上述優(yōu)點(diǎn),本文開展了基于Spark框架下的乘潮水位任務(wù)控制模式研究。本文根據(jù)國家海洋公益項(xiàng)目“海洋環(huán)境信息云計(jì)算與云服務(wù)體系框架應(yīng)用研究”對(duì)海洋環(huán)境信息處理的要求,以實(shí)驗(yàn)室開發(fā)的Spark框架下乘潮水位任務(wù)控制和web交互系統(tǒng)為基礎(chǔ),研究了基于Spark下的乘潮水位任務(wù)控制模式框架體系,并對(duì)Spark調(diào)度算法進(jìn)行研究,針對(duì)乘潮水位計(jì)算的具體特點(diǎn),研究并實(shí)現(xiàn)了適合乘潮水位計(jì)算的調(diào)度算法,實(shí)驗(yàn)結(jié)果表明,基于Spark框架下的乘潮水位任務(wù)控制模式,能夠改變乘潮水位傳統(tǒng)的業(yè)務(wù)計(jì)算模式,將云計(jì)算技術(shù)引入到乘潮水位的計(jì)算中，降低乘潮水位計(jì)算對(duì)高性能集群的依賴性,降低計(jì)算的硬件成本；靈活性方而,改變了一體式的計(jì)算模式,可以根據(jù)計(jì)算需要,提高局部乘潮水位計(jì)算區(qū)域的效率和精確度；在任務(wù)控制模式方面,改進(jìn)后的任務(wù)控制算法,可以提高任務(wù)分配的合理性和科學(xué)性,從而提高乘潮水位計(jì)算的效率。實(shí)驗(yàn)結(jié)果證明：基于Spark的乘潮水位任務(wù)控制模式能夠提高乘潮水位計(jì)算的效率,提高任務(wù)計(jì)算的速度。本文主要的研究內(nèi)容和工作如下：1.研究目前云計(jì)算技術(shù)的發(fā)展和應(yīng)用情況,以及云計(jì)算技術(shù)在海量海洋環(huán)境數(shù)據(jù)處理上的優(yōu)勢(shì),結(jié)合海洋環(huán)境處理典型應(yīng)用——乘潮水位計(jì)算的業(yè)務(wù)模式和計(jì)算特點(diǎn),研究將Spark并行計(jì)算框架應(yīng)用于乘潮水位任務(wù)控制的模式。2.針對(duì)傳統(tǒng)集群一體化計(jì)算的缺點(diǎn),設(shè)計(jì)和實(shí)現(xiàn)了乘潮水位計(jì)算Web交互系統(tǒng),增加了乘潮水位計(jì)算的靈活性、伸縮性和交互性,并支持對(duì)乘潮水位計(jì)算結(jié)果可視化的交互瀏覽和無級(jí)縮放,達(dá)到使用云平臺(tái)進(jìn)行海洋環(huán)境信息處理的目的,為直觀展示和分析海洋數(shù)據(jù),挖掘和研究海洋規(guī)律提供更高效更快速的手段。3.對(duì)乘潮水位計(jì)算過程進(jìn)行監(jiān)控,了解各個(gè)計(jì)算任務(wù)的節(jié)點(diǎn)分配情況。4.在研究Spark原生調(diào)度算法之后,結(jié)合乘潮水位任務(wù)計(jì)算的特點(diǎn),提出一套優(yōu)化調(diào)度算法,以Spark集群計(jì)算能力和乘潮水位計(jì)算區(qū)域的復(fù)雜度為調(diào)度算法的依據(jù),有效提高了Spark框架下乘潮水位計(jì)算任務(wù)分配的合理性,使Spark集群的計(jì)算效率提高。
【關(guān)鍵詞】：Spark 乘潮水位 任務(wù)控制模式 海洋環(huán)境信息處理
【學(xué)位授予單位】：中國海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP338.6
【目錄】：

• 摘要5-7
• abstract7-12
• 1. 緒論12-18
• 1.1 課題研究的背景和意義12-13
• 1.2 Spark并行計(jì)算框架研究現(xiàn)狀13-15
• 1.3 乘潮水位研究內(nèi)容與現(xiàn)狀15-16
• 1.4 本文主要研究工作及貢獻(xiàn)16
• 1.5 本文組織結(jié)構(gòu)16-18
• 2. 關(guān)鍵技術(shù)18-28
• 2.1 海洋信息處理與云平臺(tái)18-19
• 2.2 乘潮水位計(jì)算模式19-20
• 2.3 Spark框架20-26
• 2.3.1 Spark核心思想21-22
• 2.3.2 Spark生態(tài)系統(tǒng)22-24
• 2.3.3 Spark分布式部署模式24-26
• 2.4 本章小結(jié)26-28
• 3. Spark框架下乘潮水位任務(wù)控制模式框架體系28-38
• 3.1 云平臺(tái)海洋環(huán)境信息處理框架體系28-29
• 3.2 乘潮水位Spark控制模式問題分析29-31
• 3.3 任務(wù)控制模式的運(yùn)行過程31-37
• 3.4 本章小結(jié)37-38
• 4. Spark框架下乘潮水位任務(wù)控制模式研究與實(shí)現(xiàn)38-52
• 4.1 Spark的任務(wù)控制模式簡介38-40
• 4.2 Spark的任務(wù)調(diào)度算法40-43
• 4.3 Spark乘潮水位任務(wù)調(diào)度算法優(yōu)化43-51
• 4.3.1 優(yōu)化背景43-45
• 4.3.2 優(yōu)化算法45-48
• 4.3.3 具體技術(shù)實(shí)現(xiàn)方法48-51
• 4.4 本章小結(jié)51-52
• 5. 實(shí)驗(yàn)結(jié)果對(duì)比分析52-58
• 5.1 實(shí)驗(yàn)準(zhǔn)備53-54
• 5.2 實(shí)驗(yàn)結(jié)果54-56
• 5.2.1 算法測(cè)試54-55
• 5.2.2 Spark框架下乘潮水位任務(wù)控制模式測(cè)試55-56
• 5.3 結(jié)果分析與測(cè)試結(jié)論56-58
• 6. 總結(jié)與展望58-60
• 參考文獻(xiàn)60-64
• 附錄64-68
• 致謝68-70
• 個(gè)人簡歷70

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳虹君;;基于Hadoop平臺(tái)的Spark框架研究[J];電腦知識(shí)與技術(shù);2014年35期

2 嵇智源;潘巍;;面向大數(shù)據(jù)的內(nèi)存數(shù)據(jù)管理研究現(xiàn)狀與展望[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年10期

3 劉亞瓊;;星火燎原 2014中國Spark技術(shù)峰會(huì)精彩回顧[J];程序員;2014年05期

4 張凱;秦勃;劉其成;;基于GPU-Hadoop的并行計(jì)算框架研究與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2014年08期

5 楊萬康;尹寶樹;楊德周;徐振華;;基于FVCOM的南海北部海域潮汐潮流數(shù)值模擬[J];海洋科學(xué);2013年09期

6 陳波昌;魏皓;;FVCOM模型在渤海灣潮流潮汐模擬中的應(yīng)用[J];天津科技大學(xué)學(xué)報(bào);2013年04期

7 尼建軍;王新怡;張鳳燁;王永剛;連展;;基于FVCOM的渤海潮波數(shù)值模擬[J];海洋科學(xué);2013年02期

8 王加亮;秦勃;劉健健;劉妮;;基于MapReduce的交互可視化平臺(tái)[J];電信科學(xué);2012年09期

9 胡松;陳長勝;高郭平;來志剛;葛建忠;林輝嬋;戚建華;;全球非結(jié)構(gòu)網(wǎng)格有限體積法海洋模式東中國海潮汐計(jì)算初步分析[J];上海海洋大學(xué)學(xué)報(bào);2012年04期

10 ;A FVCOM-Based Unstructured Grid Wave, Current,Sediment Transport Model,I.Model Description and Validation[J];Journal of Ocean University of China;2011年01期

  本文關(guān)鍵詞：基于Spark的乘潮水位任務(wù)控制模式研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：328000