發(fā)布時(shí)間：2017-04-08 14:21

  本文關(guān)鍵詞：基于Hadoop平臺(tái)的CCD表觀輻亮度定標(biāo)算法的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著空間遙感技術(shù)的快速成長,獲取遙感影像數(shù)據(jù)的方式發(fā)生了很大的變革,并且伴隨數(shù)據(jù)精確度的不斷提高,數(shù)據(jù)量也不斷巨增。獲取的遙感數(shù)據(jù)需要經(jīng)過合適的加工處理,才能應(yīng)用到其他的行業(yè)。因此對(duì)數(shù)據(jù)的處理速度和效率有了很高的要求,同時(shí)數(shù)據(jù)也要求高效的組織和管理。云計(jì)算技術(shù)是時(shí)下最流行的技術(shù),能夠解決很多復(fù)雜的問題,因此云計(jì)算能夠提供一種處理上述問題的有效解決方案。Hadoop是一款云計(jì)算平臺(tái),是目前最流行的一種分布式框架,不僅能夠解決海量遙感數(shù)據(jù)分布式存儲(chǔ)的問題,也能夠提供一種遙感算法分布式處理的方案。GDAL(Geospatial Data Abstraction Library)是一個(gè)開源柵格空間數(shù)據(jù)轉(zhuǎn)換庫,能夠支持各種格式的遙感影像文件的讀寫。現(xiàn)有的遙感產(chǎn)品算法主要是根據(jù)應(yīng)用需求對(duì)遙感數(shù)據(jù)進(jìn)行處理和加工,這些算法一般都是運(yùn)行在單機(jī)或者傳統(tǒng)網(wǎng)絡(luò)環(huán)境下,算法運(yùn)行效率較低。本文主要研究和實(shí)現(xiàn)了基于Hadoop平臺(tái)的CCD表觀輻亮度定標(biāo)算法。以此作為基礎(chǔ)對(duì)具有高效的云平臺(tái)下遙感產(chǎn)品算法的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行探索。本文根據(jù)GDAL強(qiáng)大的柵格處理能力讀取圖像數(shù)據(jù),并依據(jù)Hadoop的分布式存儲(chǔ)和計(jì)算能力,通過編寫Map Reduce程序?qū)崿F(xiàn)遙感基礎(chǔ)產(chǎn)品算法—CCD表觀輻亮度定標(biāo)(CCDTOAL)。本文的主要工作和貢獻(xiàn)包括以下幾個(gè)方面:1.給出面向遙感產(chǎn)品處理的Hadoop集群的完整安裝過程,以及在安裝過程中應(yīng)注意的關(guān)鍵問題和解決方案,并給出集群運(yùn)行結(jié)果圖。2.分析Map Reduce編程模式的處理流程,結(jié)合GDAL技術(shù),自定義了讀取圖像數(shù)據(jù)的數(shù)據(jù)類型,實(shí)現(xiàn)遙感圖像數(shù)據(jù)的讀取操作。3.深入研究CCDTOAL算法,在多機(jī)并行處理環(huán)境下和Hadoop平臺(tái)下,分別給出了該算法的設(shè)計(jì)思想并實(shí)現(xiàn)了該算法。4.比較CCDTOAL算法在多機(jī)并行處理和Hadoop平臺(tái)兩種環(huán)境下的運(yùn)行效率。實(shí)驗(yàn)結(jié)果表明,相比多機(jī)并行環(huán)境,Hadoop平臺(tái)處理遙感產(chǎn)品算法占有一定的優(yōu)勢(shì)。
【關(guān)鍵詞】：Hadoop平臺(tái) GDAL CCDTOAL 并行處理
【學(xué)位授予單位】：河南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP393.09;TP751
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 1 緒論9-13
• 1.1 研究背景及意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.2.1 遙感數(shù)據(jù)處理方法的研究10
• 1.2.2 Hadoop的應(yīng)用10-11
• 1.3 論文主要內(nèi)容11-12
• 1.4 論文組織結(jié)構(gòu)12
• 1.5 本章小結(jié)12-13
• 2 相關(guān)技術(shù)簡(jiǎn)介13-23
• 2.1 CCD表觀輻亮度定標(biāo)算法描述13-14
• 2.2 M-CCDTOAL算法概述14-17
• 2.2.1 工作原理14-16
• 2.2.2 算法實(shí)現(xiàn)16-17
• 2.3 Hadoop平臺(tái)概述17-20
• 2.3.1 Hadoop平臺(tái)的特點(diǎn)與優(yōu)勢(shì)17
• 2.3.2 HDFS簡(jiǎn)介17-18
• 2.3.3 MapReduce簡(jiǎn)介18-20
• 2.4 Ganglia簡(jiǎn)介20
• 2.5 GDAL簡(jiǎn)介20-21
• 2.6 SSH21
• 2.7 本章小結(jié)21-23
• 3 H-CCDTOAL運(yùn)行平臺(tái)的搭建技術(shù)23-33
• 3.1 集群環(huán)境搭建23-28
• 3.1.1 環(huán)境準(zhǔn)備23-24
• 3.1.2 搭建步驟24-26
• 3.1.3 集群運(yùn)行26-28
• 3.2 圖像數(shù)據(jù)類型設(shè)計(jì)28-30
• 3.3 數(shù)據(jù)存儲(chǔ)格式設(shè)計(jì)30-31
• 3.4 本章小結(jié)31-33
• 4 H-CCDTOAL算法的設(shè)計(jì)與實(shí)現(xiàn)33-45
• 4.1 開發(fā)環(huán)境33
• 4.2 工作原理33-35
• 4.3 中間數(shù)據(jù)類型格式設(shè)計(jì)35
• 4.4 讀取背景參數(shù)Map類的設(shè)計(jì)35-36
• 4.5 讀取圖像數(shù)據(jù)的map類設(shè)計(jì)36-37
• 4.6 Reducer類的設(shè)計(jì)37-38
• 4.7 算法實(shí)現(xiàn)38-39
• 4.8 測(cè)試與結(jié)果分析39-42
• 4.8.1 測(cè)試數(shù)據(jù)39
• 4.8.2 測(cè)試方法39-40
• 4.8.3 測(cè)試結(jié)果40-42
• 4.8.4 結(jié)果分析42
• 4.9 本章小結(jié)42-45
• 5 總結(jié)及展望45-47
• 參考文獻(xiàn)47-49
• 致謝49-51
• 攻讀學(xué)位期間參加的項(xiàng)目51-52

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李書富，孟超;用于CCD信號(hào)的高速數(shù)據(jù)采集系統(tǒng)[J];中國儀器儀表;1994年05期

2 申福成;;讓CCD壞點(diǎn)起死回生[J];電腦迷;2009年11期

3 ;電子轟擊式 CCD 像管及其技術(shù)處理[J];大連理工大學(xué)學(xué)報(bào);1997年S2期

4 張華，陳強(qiáng)，金建敏，，潘際鑾;基于焊縫CCD圖象模式特征的焊縫軌跡識(shí)別[J];機(jī)械工程學(xué)報(bào);1996年06期

5 馬榮貴,宋宏勛;多路CCD位移傳感器用于路面縱斷面檢測(cè)研究[J];光子學(xué)報(bào);2001年03期

6 何清芳;王青梅;郭利樂;;基于CCD掃描技術(shù)探測(cè)降水現(xiàn)象的研究[J];氣象水文海洋儀器;2013年02期

7 培初;;CCD攝象器件及其在空間的應(yīng)用[J];國外空間動(dòng)態(tài);1981年10期

8 程鵬飛;顧明劍;王模昌;;CCD視頻信號(hào)處理電路設(shè)計(jì)[J];科學(xué)技術(shù)與工程;2006年24期

9 沈會(huì)良;牟同升;王明剛;楊冬曉;李志能;;基于CCD的數(shù)字光處理光源特性測(cè)量[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2007年08期

10 張衛(wèi)東,陳國鈞,張煜盛;閉式循環(huán)柴油機(jī)(CCD)監(jiān)控系統(tǒng)設(shè)計(jì)[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年04期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 嚴(yán)博;劉纏牢;;基于CCD的激光粒度儀設(shè)計(jì)技術(shù)研究[A];2011西部光子學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2011年

2 田會(huì);倪晉平;馬衛(wèi)紅;;CCD交匯式連發(fā)彈丸密集度測(cè)試方法研究[A];第十四屆全國光學(xué)測(cè)試學(xué)術(shù)討論會(huì)論文（摘要集）[C];2012年

3 彭青玉;;云南天文臺(tái)1米望遠(yuǎn)鏡CCD視場(chǎng)幾何扭曲的測(cè)定[A];中國天文學(xué)會(huì)2011年學(xué)術(shù)年會(huì)手冊(cè)[C];2011年

4 吳國棟;馮f杰;;三線陣測(cè)繪相機(jī)CCD像面的裝調(diào)方法[A];2009年全國測(cè)繪儀器綜合學(xué)術(shù)年會(huì)論文集[C];2009年

5 王宏義;董文娟;黃宗福;陳曾平;;基于DSP的嵌入式CCD天文圖像處理系統(tǒng)[A];2007年光電探測(cè)與制導(dǎo)技術(shù)的發(fā)展與應(yīng)用研討會(huì)論文集[C];2007年

6 張坤;;CCD片上放大器的設(shè)計(jì)與仿真[A];2004全國圖像傳感器技術(shù)學(xué)術(shù)交流會(huì)議論文集[C];2004年

7 蔣本和;張洪哲;金穎妮;紀(jì)淑波;靳文瑞;董楠;陳文毅;翟瑞仁;;CCD用于血沉等參量的自動(dòng)測(cè)量[A];第十屆全國紅外加熱暨紅外醫(yī)學(xué)發(fā)展研討會(huì)論文及論文摘要集[C];2005年

8 馬世幫;楊紅;郭羽;姜昌錄;康登魁;;平行光管中位置等效的目標(biāo)靶和CCD的調(diào)校方法研究[A];第十四屆全國光學(xué)測(cè)試學(xué)術(shù)討論會(huì)論文（摘要集）[C];2012年

9 劉慶民;趙玲;戴偉鋒;;基于CCD的滾珠螺母幾何參數(shù)測(cè)量[A];2009年先進(jìn)光學(xué)技術(shù)及其應(yīng)用研討會(huì)論文集（上冊(cè)）[C];2009年

10 劉昌林;李仁豪;唐紹凡;周旭東;龍飛;;512×512元高幀速可見光CCD[A];2004全國圖像傳感器技術(shù)學(xué)術(shù)交流會(huì)議論文集[C];2004年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 參勝利;讓CCD壞點(diǎn)起死回生[N];中國電腦教育報(bào);2004年

2 佟潔;CCD如何走出創(chuàng)新路？[N];中國經(jīng)濟(jì)導(dǎo)報(bào);2006年

3 李思;CCD能否走出創(chuàng)新路？[N];西部時(shí)報(bào);2006年

4 王竹青;如何檢測(cè)數(shù)碼相機(jī)CCD壞點(diǎn)[N];中國計(jì)算機(jī)報(bào);2003年

5 楊特;如何測(cè)試數(shù)碼相機(jī)CCD壞點(diǎn)[N];中國計(jì)算機(jī)報(bào);2004年

6 山旭 郭璐;處理CCD事件 索尼被指存在“國家差別”[N];華夏時(shí)報(bào);2005年

7 計(jì)算機(jī)世界實(shí)驗(yàn)室 李獻(xiàn);愛普生掃描儀主推超薄CCD[N];計(jì)算機(jī)世界;2007年

8 福建 柳堅(jiān);掃描儀CCD[N];電腦報(bào);2004年

9 馬振貴;索尼“CCD問題”懸疑[N];中國電腦教育報(bào);2006年

10 朱磊;火眼金睛辨別數(shù)碼相機(jī)的CCD壞點(diǎn)[N];電腦報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 徐_g;機(jī)器視覺中CCD自然圖像的降噪和分割研究[D];電子科技大學(xué);2003年

2 柯才軍;微透鏡陣列的設(shè)計(jì)、制作及與CCD的集成技術(shù)[D];華中科技大學(xué);2005年

3 雷劍波;基于CCD的激光再制造熔池溫度場(chǎng)檢測(cè)研究[D];天津工業(yè)大學(xué);2007年

4 焦宏偉;基于成像激光雷達(dá)與雙CCD復(fù)合的三維精細(xì)成像技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

5 李哲林;基于CCD的長軸類高溫大鍛件三維尺寸測(cè)量的研究[D];華南理工大學(xué);2013年

6 楊彥佶;CCD型X射線探測(cè)器性能研究[D];吉林大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 黃超凡;主機(jī)和從機(jī)模式下的CCD工業(yè)相機(jī)的設(shè)計(jì)與研究[D];浙江大學(xué);2015年

2 李俊;基于CCD的焦?fàn)t測(cè)溫技術(shù)研究[D];合肥工業(yè)大學(xué);2015年

3 邱亞楠;基于CCD線陣導(dǎo)航的縮微車智能駕駛系統(tǒng)設(shè)計(jì)[D];東北大學(xué);2014年

4 傅鑫;掃描儀CCD模組鏡頭的設(shè)計(jì)研究[D];南京理工大學(xué);2016年

5 朱鵬波;基于Camera LINK接口的CCD損傷檢測(cè)系統(tǒng)的研究[D];長春理工大學(xué);2016年

6 周洪生;CCD-Ⅰ型平面光柵電弧直讀發(fā)射光譜儀在地礦實(shí)驗(yàn)室的應(yīng)用與優(yōu)化[D];吉林大學(xué);2016年

7 李敏;用于微光CCD的關(guān)聯(lián)成像軟件開發(fā)[D];西安電子科技大學(xué);2015年

8 謝倩倩;基于Hadoop平臺(tái)的CCD表觀輻亮度定標(biāo)算法的研究與實(shí)現(xiàn)[D];河南大學(xué);2016年

9 張震;可見光CCD的激光輻照效應(yīng)實(shí)驗(yàn)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

10 王清泉;基于CCD的濁度檢測(cè)技術(shù)研究與應(yīng)用[D];長沙理工大學(xué);2012年

  本文關(guān)鍵詞：基于Hadoop平臺(tái)的CCD表觀輻亮度定標(biāo)算法的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：293049