隨著全球氣候變暖,森林碳儲量成為目前十分受關(guān)注的問題。森林生物量是估算森林碳儲量的重要參數(shù),不僅是碳循環(huán)的標(biāo)志,更是森林生態(tài)系統(tǒng)評價(jià)的重要指標(biāo)。森林郁閉度同樣作為森林生態(tài)資源調(diào)查中的主要參數(shù)之一,也是碳循環(huán)中的重要因子,與生物量有著密切的關(guān)系,通過遙感影像反演有效得到郁閉度的值可以更精確的實(shí)現(xiàn)生物量的反演。但是隨著遙感大數(shù)據(jù)的發(fā)展,遙感影像處理的復(fù)雜度和數(shù)據(jù)量也在增加,因此為了實(shí)現(xiàn)遙感影像的高效處理,本文將Spark并行計(jì)算框架應(yīng)用于遙感影像的并行處理中,以帽兒山老山施業(yè)區(qū)為數(shù)據(jù)源,提出了基于Spark的并行反演算法,將基于郁閉度的生物量反演模型與之集成完成了生物量的并行反演。本文主要的研究內(nèi)容如下:（1）針對遙感影像數(shù)據(jù)量大,在并行反演過程中反復(fù)讀取、存儲數(shù)據(jù)造成時(shí)效性低的問題,本文在遙感影像預(yù)處理后建立了遙感影像金字塔。在并行反演過程中,可以直接從金字塔模型中快速提取信息。同時(shí),針對本文數(shù)據(jù)類型,提出了一種針對遙感影像數(shù)據(jù)和影像瓦片采用不同數(shù)據(jù)庫分而治之的存儲方式。將原始遙感影像和并行反演的處理過程和結(jié)果保存在分布式文件系統(tǒng)HDFS中。影像金字塔瓦片的生成和金字塔模型構(gòu)建過程采用列... 

【文章來源】：東北林業(yè)大學(xué)黑龍江省 211工程院校 教育部直屬院校

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－４?ｙａｍ－ｃｌｕｓｔｅｒ運(yùn)行模式??ｙａｍ－ｃｌｉｅｎｔ?模式和?ｙａｍ－ｃｌｕｓｔｅｒ?差別不大，ｙａｍ－ｃｌｉｅｎｔ?的?Ｄｒｉｖｅｒ?運(yùn)行在?Ｃｌｉｅｎｔ?上

以使用Ｓｐａｒｋ來驗(yàn)證并解決問題。??（５）通用性強(qiáng)??面對多元化、多形式的海量數(shù)據(jù)，Ｓｐａｒｋ提供了可以用于文件批處理、交互式查詢??（Ｓｐａｒｋ?ＳＱＬ）?＿、實(shí)時(shí)流處理（Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ＿）、機(jī)器學(xué)習(xí)（Ｓｐａｒｋ?ＭＬｌｉｂ）和圖計(jì)??算（ＳｐａｒｋＧｒａｐｈＸ＾）的并行計(jì)算框架。??２．２．２?Ｓｐａｒｋ的生態(tài)系統(tǒng)??Ｓｐａｒｋ?ＳＱＬ、Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ、Ｓｐａｒｋ?ＭＬｌｉｂ?和?Ｓｐａｒｋ?ＧｒａｐｈＸ?組成了?Ｓｐａｒｋ?的生態(tài)系??統(tǒng)，如圖２－５所示。ＡＭＰ?Ｌａｂ將此生態(tài)系統(tǒng)命名為大數(shù)據(jù)分析堆棧。簡稱為ＢＤＡＳ。??Ｉ?！??ｃ?，?ＭＬｌｉｂ?？?，?ｖ??Ｓｐａｒｋ?ＳＱＬ?＾ａｒ．?（ｍａｃｈｉｎｅ?，?叩?ｉ、??Ｓｔｒｅａｍ，ｎ§?ｌｃａｍｍｇ）?化＿）??Ａｐａｃｈｅ?Ｓｐａｒｋ??ｌ?＇?．．．?．．．．．????：．．．．．．Ｉ??ｆ?本地?）?獨(dú)立?ｉ?ｊ??運(yùn)＆模式運(yùn)行￡式Ｅｅ２?ＭｅｓＧＳ?ＹＡＲＮ??圖２－５?Ｓｐａｒｋ的生態(tài)系統(tǒng)??－１２－??

Ｄ或者ＲＤＤ的擴(kuò)展來完成相應(yīng)的運(yùn)算的。在Ｓｐａｒｋ中數(shù)據(jù)處??理的關(guān)鍵點(diǎn)就是如何將數(shù)據(jù)轉(zhuǎn)化為ＲＤＤ。從邏輯上來看，ＲＤＤ中的每一個(gè)分區(qū)也對應(yīng)??著一個(gè)相應(yīng)的ｂｌｏｃｋ。ＲＤＤ的具體操作分為轉(zhuǎn)化（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）操作和行動（Ａｃｔｉｏｎ）??兩種。在進(jìn)行轉(zhuǎn)化的過程中，就是由一個(gè)ＲＤＤ經(jīng)過執(zhí)行生成一個(gè)新的ＲＤＤ。但是??ＲＤＤ由于惰性，并不會真的被執(zhí)行，只有當(dāng)ＲＤＤ執(zhí)行Ａｃｔｉｏｎ操作的時(shí)候，才會觸發(fā)并??執(zhí)行。??ＲＤＤ在Ｓｐａｒｋ中的運(yùn)行流程主要分為以下三步，具體流程如圖２－７所示：??ＲＤＤ?Ｏｂｊｅｃｔｓ?ＤＡＧＳｃｈｅｄｕｌｅｒ?ＴａｓｋＳｃｈｅｄｕｌｅｒ?Ｗｏｒｋｅｒ??ＤＡＧ?－ｌａｓｋＳｃｔ；?ｍａｎａｇｅｒ?）??：．．?一．．．．．．．丨一??／?＼?￣?￣??ｒｄｄｌ?．ｊｏｉｎ（ｒｄｄ２）??ｇｒｏｕｐＢｙ（?）?ｓｐｌｉｔ?ｇｒａｐｈ?ｉｎｔｏ?ｌａｕｎｃｈ?ｔａｓｋｓ?ｖｉａ?ｅｘｅｃｕｔｅ?ｔａｓｋｓ??ｑ?ｓｔａｇｅｓ?ｏｆ?ｔａｓｋｓ?ｃｌｕｓｔｅｒ?ｍａｎａｇｅｒ??ｓｕｂｍｉｔ?ｅａｃｈ?ｒｅｔｒｙ?ｆａｉｌｅｄ?ｏｒ?ｓｔｏｒｅ?ａｎｄ?ｓｅｒｖｅ??ｓｔａｇｅ?ａｓ?ｒｅａｄｙ?ｓｔｒａｇｇｌｉｎｇ?ｔａｓｋｓ?ｂｌｏｃｋｓ??ａｇｎｏｓｔｉｃ?ｔｏ?ｓｔａｇｅ?ｄｏｅｓｎ＇ｔ?ｋｎｏｗ??ｏｐｅｒａｔｏｒｓ！?ｆａｉｌｅｄ?ａｂｏｕｔ?ｓｔａｇｅｓ??圖２－７?ＲＤＤ在Ｓｐａｒｋ中的運(yùn)行流程??（１）創(chuàng)建ＲＤＤ是Ｓｐａｒｋ處理數(shù)據(jù)時(shí)的第一步。ＲＤＤ的創(chuàng)建方式主要有通過Ｓｃａｌａ??并行化集合創(chuàng)建、從內(nèi)存中直接構(gòu)造和從ＨＤＦＳ等分布


本文編號：3403825