【摘要】：云計算是當前計算機領域研究的主要方向,它整合了網格計算、并行計算、分布式計算等先進技術,被眾多行業(yè)廣泛應用。云計算通過整合資源構成一個資源池,向用戶提供服務,具有高可用性和擴展性。Hadoop是近幾年發(fā)展較好的云計算平臺,一個并行處理數(shù)據(jù)的成熟的開源軟件框架,憑借其高可靠性、可擴展性受到各行業(yè)的青睞。先進的衛(wèi)星和傳感器不斷投入使用,遙感數(shù)據(jù)類型不斷豐富,使得空間數(shù)據(jù)規(guī)模呈指數(shù)型增長。此外,復雜度越來越高的算法和模型也逐漸應用于遙感數(shù)據(jù)處理中,遙感數(shù)據(jù)處理越來越呈現(xiàn)出數(shù)據(jù)密集和計算密集的特征。而現(xiàn)階段大多數(shù)遙感處理軟件是基于單機系統(tǒng)的,在計算速度和效率上都受到很大的制約,無法滿足生態(tài)環(huán)境的動態(tài)監(jiān)測與實時評估的需求。將云計算技術應用于生態(tài)評價,進行并行化的遙感影像處理和生態(tài)評估關鍵參數(shù)的并行化遙感反演,可以實現(xiàn)森林的實時動態(tài)評估。本論文采用開源云計算平臺Hadoop中的核心組件,對帽兒山研究區(qū)的生態(tài)因子進行并行化反演,實現(xiàn)基于云計算的森林生態(tài)系統(tǒng)服務功能的評估,驗證將云計算應用到森林生態(tài)系統(tǒng)服務功能評估中的高效性。本文主要研究內容如下:(1)基于HDFS文件系統(tǒng)和HBase數(shù)據(jù)庫的數(shù)據(jù)存儲。本論文中將遙感影像數(shù)據(jù)存儲在HDFS中,指定影像在HDFS中的存儲策略;對HDFS的文件存儲結構進行設計,數(shù)據(jù)包括原始數(shù)據(jù)、預處理數(shù)據(jù)、遙感反演結果數(shù)據(jù)等。HBase是一種面向列的非結構化數(shù)據(jù)庫,論文中將處理中的影像塊信息數(shù)據(jù)和元數(shù)據(jù)存儲于HBase中。HDFS不能直接支持遙感影像的處理,但是提供了可擴展的API,本論文針對遙感影像的存儲和處理問題,在Hadoop的基礎上對相關功能模塊進行了擴展。(2)基于MapReduce并行框架的遙感參數(shù)反演方法。大多數(shù)遙感處理軟件是基于單機系統(tǒng)的,在計算速度和效率上都受到很大的制約。本論文搭建基于Hadoop的集群環(huán)境,將遙感參數(shù)反演的模型算法集成到基于MapReduce的并行框架中,構建基于MapReduce并行框架的生態(tài)因子遙感反演算法,從而提高影像處理效率。(3)植被凈初級生產力的遙感估算模型Cloud-ICASA。在固碳釋氧服務功能的評估中,難以直接獲取的參數(shù)是林分凈生產力(NPP),NPP直接反映了植被在自然環(huán)境條件下的生產能力,在全球變化及碳平衡中扮演著重要的作用。本論文對CASA模型的關鍵參數(shù)進行修正和優(yōu)化,提出了適用于帽兒山的Cloud-ICASA模型。(4)林分蒸散量的遙感估算模型Cloud-ISEBAL。在涵養(yǎng)水源服務功能的評估中,主要的參數(shù)是林分的蒸散量。蒸散量是地下水和地表水相互轉化的中間環(huán)節(jié),影響著森林生態(tài)系統(tǒng)的水循環(huán)和碳循環(huán)過程。隨著遙感技術的發(fā)展,應用遙感方法進行地表能量之間的反演成為現(xiàn)實。本論文在SEBAL的基礎上,結合高分影像特點,提出了基于高分影像的Cloud-ISEBAL模型,實現(xiàn)對林分蒸散量的遙感反演。
【圖文】：

數(shù)據(jù)挖掘工作；淘寶搭建Ｈａｄｏｏｐ框架存儲和處理交易數(shù)據(jù)。隨著Ｈａｄｏｏｐ的使用越來逡逑越多，基于Ｈａｄｏｏｐ的開發(fā)工具也越來越多，簡單介紹一些工具，以便對Ｈａｄｏｏｐ有更逡逑直觀和清晰的了解。Ｈａｄｏｏｐ項目的體系結構如圖２－１所示，核心組件表見表２－１。逡逑Ｐｉｇ邐Ｈｉｖｅ邐ＨＢａｓｅ逡逑ＭａｐＲｅｄｕｃｅ邐ＨＤＦＳ邐Ｚｏｏｋｅｅｐｅｒ逡逑Ｈａｄｏｏｐ核心組件逡逑圖２－１邋Ｈａｄｏｏｐ的體系結構逡逑表２－１邋Ｈａｄｏｏｐ核心組件逡逑內容邐功能描述逡逑ｕ邋＾￣￣拉，、如仲邐包括分布式文件系統(tǒng)ＨＤＦＳ和分布式并行編程框架ＭａｐＲｅｄｕｃｅ兩部分逡逑Ｈａｄｏｏｐ核七、纟且件邐Ｈａｄｏｏｐ核心組件Ｈａｄｏｏｐ開源項目子項目逡逑分布式文件系統(tǒng)，隱藏下層負載均衡、冗余復制等細節(jié)逡逑＾邐對上層程序提供一個統(tǒng)一的文件系統(tǒng)ＡＰ丨接口逡逑，，邐分布式并行編程框架：Ｍａｐ把輸入Ｉｎｐｕｔ分解成中間Ｋｅｙ－Ｖａｌｕｅ對逡逑ａｐ邋ｅ邋ｕｃｅ邐Ｒｅｄｕｃｅ邋把邋Ｋｅｙ－ｖａｌｕｅ邋對合成輸出邋Ｏｕｔｐｕｔ逡逑ＨＢａｓｅ邐一個大型的分布式數(shù)據(jù)庫，不是關系型數(shù)據(jù)庫，用來存儲結構化的數(shù)據(jù)逡逑一個數(shù)據(jù)倉庫架構，可以將結構化的數(shù)據(jù)文件映射成一張數(shù)據(jù)庫表逡逑并提供完整的ＳＱＬ查詢功能逡逑大規(guī)模數(shù)據(jù)分析平臺，為復雜的海量數(shù)據(jù)運算提供簡單的操作和編程接口逡逑ｇ邐將類ＳＱＬ數(shù)據(jù)請求轉化為一系列經過處理的ＭａｐＲｅｄｕｃｅ運算逡逑７邐ｖ邐針對大型分布式系統(tǒng)的可靠的協(xié)調系統(tǒng)

數(shù)據(jù)挖掘工作；淘寶搭建Ｈａｄｏｏｐ框架存儲和處理交易數(shù)據(jù)。隨著Ｈａｄｏｏｐ的使用越來逡逑越多，基于Ｈａｄｏｏｐ的開發(fā)工具也越來越多，簡單介紹一些工具，以便對Ｈａｄｏｏｐ有更逡逑直觀和清晰的了解。Ｈａｄｏｏｐ項目的體系結構如圖２－１所示，核心組件表見表２－１。逡逑Ｐｉｇ邐Ｈｉｖｅ邐ＨＢａｓｅ逡逑ＭａｐＲｅｄｕｃｅ邐ＨＤＦＳ邐Ｚｏｏｋｅｅｐｅｒ逡逑Ｈａｄｏｏｐ核心組件逡逑圖２－１邋Ｈａｄｏｏｐ的體系結構逡逑表２－１邋Ｈａｄｏｏｐ核心組件逡逑內容邐功能描述逡逑ｕ邋＾￣￣拉，、如仲邐包括分布式文件系統(tǒng)ＨＤＦＳ和分布式并行編程框架ＭａｐＲｅｄｕｃｅ兩部分逡逑Ｈａｄｏｏｐ核七、纟且件邐Ｈａｄｏｏｐ核心組件Ｈａｄｏｏｐ開源項目子項目逡逑分布式文件系統(tǒng)，隱藏下層負載均衡、冗余復制等細節(jié)逡逑＾邐對上層程序提供一個統(tǒng)一的文件系統(tǒng)ＡＰ丨接口逡逑，邐分布式并行編程框架：Ｍａｐ把輸入Ｉｎｐｕｔ分解成中間Ｋｅｙ－Ｖａｌｕｅ對逡逑ａｐ邋ｅ邋ｕｃｅ邐Ｒｅｄｕｃｅ邋把邋Ｋｅｙ－ｖａｌｕｅ邋對合成輸出邋Ｏｕｔｐｕｔ逡逑ＨＢａｓｅ邐一個大型的分布式數(shù)據(jù)庫，不是關系型數(shù)據(jù)庫，用來存儲結構化的數(shù)據(jù)逡逑一個數(shù)據(jù)倉庫架構，可以將結構化的數(shù)據(jù)文件映射成一張數(shù)據(jù)庫表逡逑并提供完整的ＳＱＬ查詢功能逡逑大規(guī)模數(shù)據(jù)分析平臺，為復雜的海量數(shù)據(jù)運算提供簡單的操作和編程接口逡逑ｇ邐將類ＳＱＬ數(shù)據(jù)請求轉化為一系列經過處理的ＭａｐＲｅｄｕｃｅ運算逡逑７邐ｖ邐針對大型分布式系統(tǒng)的可靠的協(xié)調系統(tǒng)
【學位授予單位】：東北林業(yè)大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：S718.5;S771.8

【參考文獻】

相關期刊論文 前10條

1 修珍珍;王斌;楊校生;余超;張龍;格日樂圖;;廟山塢自然保護區(qū)森林生態(tài)系統(tǒng)服務功能評估[J];南京林業(yè)大學學報(自然科學版);2015年04期

2 彭寧;劉忠山;周海波;;基于云計算的智能卡口系統(tǒng)研究[J];軟件導刊;2015年05期

3 赫高進;熊偉;陳犖;吳秋云;景寧;;基于MPI的大規(guī)模遙感影像金字塔并行構建方法[J];地球信息科學學報;2015年05期

4 舒昶;張林波;;基于GIS和遙感技術的生態(tài)系統(tǒng)服務價值評估研究[J];測繪與空間地理信息;2015年01期

5 王兵;;森林生態(tài)連清技術體系構建與應用[J];北京林業(yè)大學學報;2015年01期

6 劉桂環(huán);董貴華;馬良;;英國國家生態(tài)系統(tǒng)評估及對我國的啟示[J];環(huán)境與可持續(xù)發(fā)展;2014年06期

7 仇偉濤;范家銘;李丹;;一種基于HBase的高效半結構化數(shù)據(jù)查詢策略[J];福建電腦;2014年11期

8 宋維靜;劉鵬;王力哲;呂科;;遙感大數(shù)據(jù)的智能處理:現(xiàn)狀與挑戰(zhàn)[J];工程研究-跨學科視野中的工程;2014年03期

9 謝浩安;董紹彤;于濤;;云計算及其安全研究進展綜述[J];硅谷;2014年15期

10 劉星光;董曉峰;王冰冰;;英國生態(tài)城鎮(zhèn)規(guī)劃內容體系與特征分析——以三個典型生態(tài)城鎮(zhèn)規(guī)劃為例[J];城市發(fā)展研究;2014年06期

相關碩士學位論文 前8條

1 鄧玉林;基于hadoop大數(shù)據(jù)框架的個性化推薦系統(tǒng)研究與實現(xiàn)[D];電子科技大學;2016年

2 陳志遠;基于文本分類的知識管理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

3 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關鍵技術研究[D];河南大學;2013年

4 張磊;基于云計算的網格化均值聚類算法的并行化研究[D];合肥工業(yè)大學;2013年

5 付天新;基于MapReduce模型的生態(tài)遙感參數(shù)反演并行化方法與實現(xiàn)[D];蘭州交通大學;2012年

6 王旭東;面向海量遙感影像數(shù)據(jù)的分布式文件系統(tǒng)管理技術研究[D];蘭州交通大學;2012年

7 陳愛平;基于Hadoop的聚類算法并行化分析及應用研究[D];電子科技大學;2012年

8 曹潤濤;基于Hadoop的移動感知系統(tǒng)的設計與實現(xiàn)[D];西安電子科技大學;2012年

本文編號：2626436