本文選題：遙感數(shù)據(jù)處理　切入點(diǎn)：并行計(jì)算　出處：《中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院遙感與數(shù)字地球研究所)》2017年博士論文

【摘要】：傳感器和計(jì)算機(jī)技術(shù)的發(fā)展,正逐漸改進(jìn)著遙感數(shù)據(jù)的收集、管理和分析的方式。傳感器的分辨率在光譜維度和空間維度不斷增長(zhǎng),遙感數(shù)據(jù)越來(lái)越呈現(xiàn)出“超大規(guī)模數(shù)據(jù)量”的特征,同時(shí)隨著地理空間分析和建模復(fù)雜程度的提高,遙感圖像處理與信息產(chǎn)品生產(chǎn)的計(jì)算越來(lái)越呈現(xiàn)出“密集型計(jì)算”的特征,另外,應(yīng)急遙感等應(yīng)用通常具有很高的時(shí)效性要求,以上海量數(shù)據(jù)處理、算法復(fù)雜以及實(shí)時(shí)性的要求,為遙感數(shù)據(jù)的信息提取帶來(lái)了挑戰(zhàn)。并行計(jì)算為解決上述問(wèn)題提供了良好契機(jī),但是利用低級(jí)的并行編程語(yǔ)言對(duì)遙感處理算法進(jìn)行并行化實(shí)現(xiàn)是復(fù)雜繁瑣的工作,遙感專(zhuān)家在應(yīng)對(duì)海量的多維遙感圖像數(shù)據(jù)和復(fù)雜遙感應(yīng)用算法的同時(shí),還必須具備充分的并行系統(tǒng)結(jié)構(gòu)知識(shí)。因此,需要研究遙感數(shù)據(jù)并行處理快速編程工具,來(lái)簡(jiǎn)化并行計(jì)算編程并提高代碼的復(fù)用性。另外,遙感數(shù)據(jù)處理模式多樣且復(fù)雜,其中數(shù)值問(wèn)題并行計(jì)算以及DAG類(lèi)遙感應(yīng)用處理算法的并行實(shí)現(xiàn)難度比較大。并行計(jì)算在遙感數(shù)據(jù)處理中的應(yīng)用已經(jīng)發(fā)展了很多年,但是存在以下不足之處:第一,遙感數(shù)據(jù)處理并行解決方案與具體算法之間過(guò)于耦合,代碼復(fù)用性差;第二,遙感數(shù)據(jù)具有多波段和元數(shù)據(jù)復(fù)雜的特點(diǎn),將多維遙感圖像映射到通用并行編程骨架中具有一定難度;第三,直接基于低級(jí)的編程語(yǔ)言實(shí)現(xiàn)的遙感數(shù)據(jù)并行處理快速編程工具,代碼的穩(wěn)定性和可靠性存在一定風(fēng)險(xiǎn)。第四,已有遙感并行編程模版通常只提供簡(jiǎn)單數(shù)據(jù)并行模式,一般只有點(diǎn)運(yùn)算、鄰域計(jì)算和全局計(jì)算等。缺乏面向數(shù)值計(jì)算和DAG類(lèi)運(yùn)算的遙感并行編程快速實(shí)現(xiàn)工具。針對(duì)以上問(wèn)題,本文在分析遙感數(shù)據(jù)和處理流程的基礎(chǔ)上,探討遙感數(shù)據(jù)快速處理編程支撐工具的關(guān)鍵問(wèn)題,構(gòu)建和實(shí)現(xiàn)了各類(lèi)典型遙感并行算法骨架。本論文的主要貢獻(xiàn)和創(chuàng)新性主要體現(xiàn)在以下幾個(gè)方面:(1)提出了基于通用并行算法骨架構(gòu)建遙感數(shù)據(jù)快速處理編程工具的思路,從三個(gè)漸進(jìn)層次構(gòu)建和實(shí)現(xiàn)了各類(lèi)典型的遙感數(shù)據(jù)并行編程模版。避免直接利用低級(jí)編程語(yǔ)言實(shí)現(xiàn)的不穩(wěn)定性的風(fēng)險(xiǎn),提高并行編程模版構(gòu)建的抽象層次。(2)提出遙感數(shù)據(jù)抽象模型,并以泛型編程的形式,構(gòu)建遙感數(shù)據(jù)模版類(lèi)。分別針對(duì)單波段和多波段遙感數(shù)據(jù),制定多類(lèi)劃分方式,按照規(guī)則映射到Muesli分布式矩陣空間內(nèi),構(gòu)建分布式遙感數(shù)據(jù)模版類(lèi)。(3)對(duì)典型遙感圖像處理和信息產(chǎn)品生產(chǎn)算法,提煉共性的并行處理流程。在Muesli任務(wù)并行骨架之上構(gòu)建遙感數(shù)據(jù)并行編程模版RSParallel,為遙感領(lǐng)域并行模型的發(fā)展提供了示范性思路。(4)提出遙感應(yīng)用領(lǐng)域共性數(shù)值計(jì)算問(wèn)題進(jìn)行更高層次抽象的思想,構(gòu)建針對(duì)非線性方程組求解的遙感數(shù)據(jù)并行編程算法骨架。融合遙感數(shù)據(jù)并行編程模版和已有數(shù)值計(jì)算庫(kù),構(gòu)建更高層次的算法骨架RSPallelNLE,為其他遙感應(yīng)用數(shù)值問(wèn)題并行化快速實(shí)現(xiàn)提供了參考。(5)構(gòu)建基于many-task計(jì)算的遙感數(shù)據(jù)處理DAG并行編程模版,針對(duì)具有前后數(shù)據(jù)依賴(lài)關(guān)系的DAG類(lèi)遙感應(yīng)用算法,基于多任務(wù)計(jì)算,定義了務(wù)表示模型,設(shè)計(jì)了基于關(guān)鍵路徑和深度的DAG動(dòng)態(tài)調(diào)度策略,構(gòu)建的遙感數(shù)據(jù)處理DAG并行編程模版,并在大尺度生態(tài)水文模擬計(jì)算中實(shí)現(xiàn)二十萬(wàn)量級(jí)的任務(wù)的并行計(jì)算。選取典型遙感應(yīng)用算法,對(duì)以上各類(lèi)并行編程模版進(jìn)行并行性能測(cè)試,取得了良好的效果。理論和實(shí)驗(yàn)表明,提煉遙感數(shù)據(jù)處理共性模式,形成相應(yīng)的并行編程模版是遙感數(shù)據(jù)并行計(jì)算快速實(shí)現(xiàn)的有效途徑。
[Abstract]:The development of sensors and computer technology, is gradually improved with remote sensing data collection, management and analysis. The resolution of the sensor in the spectral dimension and space dimension is growing, more and more remote sensing data showing the characteristics of large scale data ", with spatial analysis and modeling complexity of remote sensing image processing the production of information products and the calculation shows more and more" intensive computing "features, in addition, high requirement of timeliness usually have emergency remote sensing applications, the amount of data processing in Shanghai, complex algorithm and real-time requirements, a challenge for the information extraction of remote sensing data parallel computing provides a good opportunity. In order to solve the problem, but the use of parallel programming language on the remote sensing processing algorithm parallel implementation is a complicated work of low-level, remote sensing experts in response to the sea Multi dimensional remote sensing image data and the complexity of the application of remote sensing algorithms at the same time, also must have sufficient knowledge of the parallel system structure. Therefore, fast programming tools for parallel processing of remote sensing data, to simplify parallel programming and improve the reusability of the code. In addition, the remote sensing data processing mode is diverse and complex, the problem of parallel computing and numerical DAG parallel processing algorithm for remote sensing applications more difficult to achieve. Parallel computing in remote sensing data processing have been developed for many years, but has the following shortcomings: first, remote sensing data processing to solve the parallel between the program and specific algorithm is coupled, code reuse is poor; second, has the characteristics of multi band remote sensing data and metadata the complex, multidimensional remote sensing image is mapped to a general-purpose parallel programming framework has a certain degree of difficulty; third, directly based on low level programming language Fast programming tools for parallel processing of remote sensing data is implemented, the stability and reliability of the code there is a certain risk. Fourth, the existing remote sensing parallel programming template usually provide only simple data parallel mode, generally only point operations, neighborhood calculation and global computing. For the lack of numerical calculation and DAG calculation of remote sensing parallel programming tools. For fast implementation the above problems, based on the analysis of remote sensing data and processes on the key issues of rapid processing programming tools to support remote sensing data, constructs and implements various typical remote sensing parallel algorithm framework. The main contributions and innovations of this paper are mainly reflected in the following aspects: (1) put forward the general framework construction fast parallel algorithm remote sensing data processing programming tool based on the ideas from the three progressive level of construction and implementation of the remote sensing data of all kinds of typical parallel programming Template. Avoid instability risk directly using low-level programming language, improve parallel programming template construction level. (2) proposed model of remote sensing data, and generic programming in the form of construction of remote sensing data template class. For single band and multi band remote sensing data, making multi class classification, in accordance with the rules distributed matrix is mapped to the Muesli space, the construction of distributed remote sensing data template class. (3) of typical remote sensing image processing and information production algorithm, parallel processing processes of extracting common. Parallel frame based parallel programming template RSParallel remote sensing data in the Muesli task, provides a demonstration of the way of thinking for the development of remote sensing parallel model. (4) the common field of remote sensing application problems of numerical calculation of higher level abstract thought, construction of remote sensing data for solving the nonlinear equations of parallel series The process algorithm skeleton. Fusion numerical library programming template and the existing remote sensing data parallel algorithm for constructing RSPallelNLE skeleton of a higher level, the application of remote sensing for other numerical problems parallel fast reference. (5) the construction calculation of many-task remote sensing data processing based on DAG parallel programming template, for a class DAG application of remote sensing data and algorithm the dependence, based on Calculation of multi task, the definition of service model, designed the DAG dynamic scheduling strategy based on the critical path and depth, the construction of remote sensing data processing DAG parallel programming template, and calculate the parallel implementation of the order of two hundred thousand tasks in simulation of eco hydrological scale. The typical application of remote sensing algorithm. All kinds of parallel programming templates for parallel performance test, and achieved good results. The theoretical and experimental results show that the total pattern extraction of remote sensing data, The formation of corresponding parallel programming templates is an effective way for the rapid realization of remote sensing data parallel computing.

【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院遙感與數(shù)字地球研究所)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP75

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周勝利 ,彭濤;美國(guó)政府對(duì)商業(yè)遙感數(shù)據(jù)的使用情況[J];國(guó)際太空;2003年10期

2 劉曉龍;李英成;;遙感數(shù)據(jù)訂購(gòu)與管理軟件的開(kāi)發(fā)與應(yīng)用[J];測(cè)繪科學(xué);2006年04期

3 董秀珍;劉德長(zhǎng);葉發(fā)旺;宣艷秀;;遙感數(shù)據(jù)及航放、航磁數(shù)據(jù)處理淺析[J];世界核地質(zhì)科學(xué);2009年02期

4 李斌斌;馮鐘葵;唐夢(mèng)輝;;遙感數(shù)據(jù)異地歸檔方法研究與實(shí)現(xiàn)[J];遙感信息;2011年02期

5 嚴(yán)瑾;;遙感數(shù)據(jù)應(yīng)急服務(wù)機(jī)制研究與實(shí)現(xiàn)[J];硅谷;2011年11期

6 姜宇鳴;陳道波;;遙感數(shù)據(jù)記錄存檔軟件的設(shè)計(jì)與實(shí)現(xiàn)[J];鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年03期

7 張文;孟令奎;周揚(yáng);趙銘;涂振發(fā);婁書(shū)榮;;多源水利遙感數(shù)據(jù)的一體化管理機(jī)制研究[J];水利信息化;2012年04期

8 謝怡;利用遙感數(shù)據(jù)研究地球變化[J];中國(guó)航天;1991年08期

9 李四海;提高遙感數(shù)據(jù)分類(lèi)應(yīng)用性的有效途徑[J];國(guó)土資源遙感;1995年04期

10 李四海;淺談提高遙感數(shù)據(jù)分類(lèi)精度的方法[J];遙感信息;1995年04期

相關(guān)會(huì)議論文 前10條

1 任娜;朱長(zhǎng)青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

2 黃二輝;潘德?tīng)t;楊燕明;;海洋遙感數(shù)據(jù)的時(shí)空分布經(jīng)驗(yàn)正交分析方法研究[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

3 徐國(guó)富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實(shí)例分析[A];國(guó)家安全地球物理叢書(shū)（八）——遙感地球物理與國(guó)家安全[C];2012年

4 譚福強(qiáng);董雙發(fā);;遙感數(shù)據(jù)的尺度效應(yīng)與遙感應(yīng)用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級(jí)存儲(chǔ)管理[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應(yīng)用[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預(yù)處理方法——以泉州快鳥(niǎo)數(shù)據(jù)為例[A];2007年福建省土地學(xué)會(huì)年會(huì)征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開(kāi)發(fā)與驗(yàn)證的相關(guān)技術(shù)進(jìn)展[A];全國(guó)農(nóng)業(yè)遙感技術(shù)研討會(huì)論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應(yīng)用方法初探[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

10 潘強(qiáng);孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺(tái)的構(gòu)建及其在城市信息化進(jìn)程中的作用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來(lái)規(guī)劃[N];建筑時(shí)報(bào);2009年

2 本報(bào)記者 操秀英 陳磊;應(yīng)急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日?qǐng)?bào);2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應(yīng)用更便捷[N];黃河報(bào);2009年

4 記者 李大慶;我國(guó)遙感數(shù)據(jù)信息利用率不足5%[N];科技日?qǐng)?bào);2011年

5 記者 李安利;測(cè)繪系統(tǒng)遙感數(shù)據(jù)服務(wù)體系日臻完善[N];中國(guó)測(cè)繪報(bào);2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日?qǐng)?bào);2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測(cè)旱情[N];中國(guó)水利報(bào);2012年

8 龐劍波 鄭雄偉;三峽庫(kù)區(qū)首獲航空遙感數(shù)據(jù)[N];地質(zhì)勘查導(dǎo)報(bào);2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺(tái)服務(wù)農(nóng)業(yè)[N];中國(guó)測(cè)繪報(bào);2014年

10 ;拓寬服務(wù)領(lǐng)域 提供高質(zhì)量遙感數(shù)據(jù)[N];中國(guó)測(cè)繪報(bào);2002年

相關(guān)博士學(xué)位論文 前7條

1 岳莎莎;遙感數(shù)據(jù)快速處理編程支撐工具研究[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院遙感與數(shù)字地球研究所);2017年

2 程付超;面向海量遙感數(shù)據(jù)的分布式混合計(jì)算技術(shù)研究[D];成都理工大學(xué);2014年

3 馬超飛;基于關(guān)聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應(yīng)用[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

4 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應(yīng)用研究[D];武漢大學(xué);2013年

5 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術(shù)研究與實(shí)踐[D];解放軍信息工程大學(xué);2001年

6 哈斯巴干;神經(jīng)網(wǎng)絡(luò)及其組合算法的遙感數(shù)據(jù)分類(lèi)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

7 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 熊賢成;基于MODIS遙感數(shù)據(jù)的特定云屬性研究[D];電子科技大學(xué);2015年

2 王玲玲;基于多源遙感數(shù)據(jù)四川省伏旱監(jiān)測(cè)[D];成都信息工程學(xué)院;2015年

3 元沐南;基于開(kāi)源WebGIS的遙感數(shù)據(jù)可視化模型研究與實(shí)現(xiàn)[D];河南大學(xué);2015年

4 張振鵬;遙感數(shù)據(jù)分發(fā)系統(tǒng)主動(dòng)隊(duì)列控制模式的研究與應(yīng)用[D];河南大學(xué);2015年

5 杜珍星;面向海量遙感數(shù)據(jù)的數(shù)據(jù)庫(kù)同步技術(shù)研究[D];河南大學(xué);2015年

6 孔帥可;基于Swift的海量遙感數(shù)據(jù)云存儲(chǔ)技術(shù)研究與應(yīng)用[D];河南大學(xué);2015年

7 冶鑫晨;云環(huán)境下基于地理位置活躍度的遙感數(shù)據(jù)節(jié)能處理策略[D];新疆大學(xué);2016年

8 鐘金沙;Hadoop在PSInSAR遙感數(shù)據(jù)并行處理中的研究及應(yīng)用[D];東南大學(xué);2015年

9 趙靜;基于DART模型的遙感數(shù)據(jù)空間尺度轉(zhuǎn)換分析[D];遼寧工程技術(shù)大學(xué);2015年

10 王銳;海洋遙感數(shù)據(jù)傳輸系統(tǒng)研究與設(shè)計(jì)[D];遼寧工程技術(shù)大學(xué);2015年

，

本文編號(hào)：1720908