基于Spark平臺(tái)的遙感圖像處理研究
發(fā)布時(shí)間:2021-11-15 00:00
隨著遙感圖像處理技術(shù)的不斷發(fā)展,遙感圖像處理方式從傳統(tǒng)的人工目視解譯、單機(jī)處理向著算法智能化、分布式集群處理方向發(fā)展。本文基于分布式內(nèi)存計(jì)算框架Spark,深入研究了分布式環(huán)境下遙感圖像并行化處理問題,設(shè)計(jì)了一種分布式遙感圖像存儲(chǔ)管理方式,提出了一種并行化的遙感圖像場(chǎng)景分類算法,最后設(shè)計(jì)構(gòu)建了基于Spark平臺(tái)的遙感圖像處理系統(tǒng)。本文主要研究?jī)?nèi)容如下:(1)基于分布式存儲(chǔ)系統(tǒng)進(jìn)行遙感圖像存儲(chǔ)管理。本文采用分布式文件系統(tǒng)HDFS進(jìn)行原始遙感圖像數(shù)據(jù)的一級(jí)存儲(chǔ),保證圖像數(shù)據(jù)的安全可靠,避免對(duì)原始數(shù)據(jù)的破壞性修改。在此基礎(chǔ)之上,通過HBase面向列式的非關(guān)系型數(shù)據(jù)庫,對(duì)遙感圖像數(shù)據(jù)進(jìn)行二級(jí)存儲(chǔ),設(shè)計(jì)了面向列式的遙感圖像數(shù)據(jù)劃分策略,對(duì)大尺度遙感圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)劃分,統(tǒng)一存儲(chǔ)于HBase中,完成了遙感圖像數(shù)據(jù)的分布式存儲(chǔ)管理功能。(2)基于分布式環(huán)境下遙感圖像場(chǎng)景分類問題的并行化研究。本文通過研究分布式環(huán)境下遙感圖像場(chǎng)景分類問題,提出了基于人工信息特征SURF和深度學(xué)習(xí)語義特征的遙感圖像場(chǎng)景分類并行算法。首先對(duì)于遙感圖像數(shù)據(jù)提取SURF特征,采用VLAD算法重編碼形成規(guī)范化的特征信息;然后采用...
【文章來源】:蘭州交通大學(xué)甘肅省
【文章頁數(shù)】:63 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
全球衛(wèi)星遙感產(chǎn)業(yè)規(guī)模變化
基于Spark平臺(tái)的遙感圖像處理研究-16-遙感圖像場(chǎng)景判別提供信息依據(jù)。如圖3.4所示,對(duì)于不同的遙感圖像場(chǎng)景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點(diǎn)信息。圖3.2遙感圖像尺度空間構(gòu)建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強(qiáng)SURF特征的信息表達(dá)能力,形成規(guī)則化的特征描述信息,本文對(duì)提取到的SURF特征采用VLAD[42]算法進(jìn)行特征重編碼,在保留特征信息的同時(shí),降低SURF特征的復(fù)雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對(duì)提取到的SURF特征重新進(jìn)行訓(xùn)練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個(gè)聚類中心上,之后對(duì)每個(gè)聚類中心,按照3.5式計(jì)算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時(shí),形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場(chǎng)景判別。()argmin||||kiikuNNx=xu(3.4)
基于Spark平臺(tái)的遙感圖像處理研究-16-遙感圖像場(chǎng)景判別提供信息依據(jù)。如圖3.4所示,對(duì)于不同的遙感圖像場(chǎng)景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點(diǎn)信息。圖3.2遙感圖像尺度空間構(gòu)建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強(qiáng)SURF特征的信息表達(dá)能力,形成規(guī)則化的特征描述信息,本文對(duì)提取到的SURF特征采用VLAD[42]算法進(jìn)行特征重編碼,在保留特征信息的同時(shí),降低SURF特征的復(fù)雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對(duì)提取到的SURF特征重新進(jìn)行訓(xùn)練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個(gè)聚類中心上,之后對(duì)每個(gè)聚類中心,按照3.5式計(jì)算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時(shí),形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場(chǎng)景判別。()argmin||||kiikuNNx=xu(3.4)
【參考文獻(xiàn)】:
期刊論文
[1]基于深度學(xué)習(xí)的場(chǎng)景識(shí)別方法綜述[J]. 李新葉,朱婧,麻麗娜. 計(jì)算機(jī)工程與應(yīng)用. 2020(05)
[2]遙感衛(wèi)星大數(shù)據(jù)產(chǎn)業(yè)化應(yīng)用[J]. 傅俏燕,隋正偉,龔亞麗. 衛(wèi)星應(yīng)用. 2019(10)
[3]分布式并行遙感圖像處理中的數(shù)據(jù)劃分[J]. 王玉坤. 電子技術(shù)與軟件工程. 2019(14)
[4]圖像場(chǎng)景分類技術(shù)綜述[J]. 田艷玲,張維桐,張鍥石,路綱,吳曉軍. 電子學(xué)報(bào). 2019(04)
[5]基于Apache Spark的海量圖像并行檢索[J]. 曹健,張俊杰,李海生,蔡強(qiáng). 計(jì)算機(jī)應(yīng)用. 2018(S2)
[6]遙感大數(shù)據(jù)時(shí)代與智能信息提取[J]. 張兵. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2018(12)
[7]基于分布式云架構(gòu)的航天遙感大數(shù)據(jù)處理技術(shù)[J]. 楊峰,李津,李鵬程. 電子信息對(duì)抗技術(shù). 2018(04)
[8]Spark性能優(yōu)化技術(shù)研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰. 計(jì)算機(jī)科學(xué). 2018(07)
[9]Spark并行計(jì)算框架的內(nèi)存優(yōu)化[J]. 廖旺堅(jiān),黃永峰,包從開. 計(jì)算機(jī)工程與科學(xué). 2018(04)
[10]深度學(xué)習(xí)方法用于遙感圖像處理的研究進(jìn)展[J]. 羅仙仙,曾蔚,陳小瑜,張東水,莊世芳. 泉州師范學(xué)院學(xué)報(bào). 2017(06)
博士論文
[1]內(nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究[D]. 卞琛.新疆大學(xué) 2017
[2]高分辨率光學(xué)遙感圖像場(chǎng)景理解關(guān)鍵技術(shù)研究[D]. 姚西文.西北工業(yè)大學(xué) 2016
碩士論文
[1]基于GPU的Spark計(jì)算框架性能模型研究[D]. 吳夢(mèng)玲.華南理工大學(xué) 2019
[2]Ceph異構(gòu)存儲(chǔ)優(yōu)化機(jī)制研究[D]. 姚朋成.重慶郵電大學(xué) 2019
[3]Spark下遙感影像分類加速研究[D]. 黃震.新疆大學(xué) 2018
[4]遙感大數(shù)據(jù)存儲(chǔ)管理方法及交互可視化實(shí)現(xiàn)研究[D]. 余潔.中國礦業(yè)大學(xué) 2018
[5]遙感大數(shù)據(jù)的存儲(chǔ)與應(yīng)用研究[D]. 周杰民.華中科技大學(xué) 2017
本文編號(hào):3495618
【文章來源】:蘭州交通大學(xué)甘肅省
【文章頁數(shù)】:63 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
全球衛(wèi)星遙感產(chǎn)業(yè)規(guī)模變化
基于Spark平臺(tái)的遙感圖像處理研究-16-遙感圖像場(chǎng)景判別提供信息依據(jù)。如圖3.4所示,對(duì)于不同的遙感圖像場(chǎng)景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點(diǎn)信息。圖3.2遙感圖像尺度空間構(gòu)建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強(qiáng)SURF特征的信息表達(dá)能力,形成規(guī)則化的特征描述信息,本文對(duì)提取到的SURF特征采用VLAD[42]算法進(jìn)行特征重編碼,在保留特征信息的同時(shí),降低SURF特征的復(fù)雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對(duì)提取到的SURF特征重新進(jìn)行訓(xùn)練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個(gè)聚類中心上,之后對(duì)每個(gè)聚類中心,按照3.5式計(jì)算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時(shí),形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場(chǎng)景判別。()argmin||||kiikuNNx=xu(3.4)
基于Spark平臺(tái)的遙感圖像處理研究-16-遙感圖像場(chǎng)景判別提供信息依據(jù)。如圖3.4所示,對(duì)于不同的遙感圖像場(chǎng)景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點(diǎn)信息。圖3.2遙感圖像尺度空間構(gòu)建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強(qiáng)SURF特征的信息表達(dá)能力,形成規(guī)則化的特征描述信息,本文對(duì)提取到的SURF特征采用VLAD[42]算法進(jìn)行特征重編碼,在保留特征信息的同時(shí),降低SURF特征的復(fù)雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對(duì)提取到的SURF特征重新進(jìn)行訓(xùn)練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個(gè)聚類中心上,之后對(duì)每個(gè)聚類中心,按照3.5式計(jì)算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時(shí),形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場(chǎng)景判別。()argmin||||kiikuNNx=xu(3.4)
【參考文獻(xiàn)】:
期刊論文
[1]基于深度學(xué)習(xí)的場(chǎng)景識(shí)別方法綜述[J]. 李新葉,朱婧,麻麗娜. 計(jì)算機(jī)工程與應(yīng)用. 2020(05)
[2]遙感衛(wèi)星大數(shù)據(jù)產(chǎn)業(yè)化應(yīng)用[J]. 傅俏燕,隋正偉,龔亞麗. 衛(wèi)星應(yīng)用. 2019(10)
[3]分布式并行遙感圖像處理中的數(shù)據(jù)劃分[J]. 王玉坤. 電子技術(shù)與軟件工程. 2019(14)
[4]圖像場(chǎng)景分類技術(shù)綜述[J]. 田艷玲,張維桐,張鍥石,路綱,吳曉軍. 電子學(xué)報(bào). 2019(04)
[5]基于Apache Spark的海量圖像并行檢索[J]. 曹健,張俊杰,李海生,蔡強(qiáng). 計(jì)算機(jī)應(yīng)用. 2018(S2)
[6]遙感大數(shù)據(jù)時(shí)代與智能信息提取[J]. 張兵. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2018(12)
[7]基于分布式云架構(gòu)的航天遙感大數(shù)據(jù)處理技術(shù)[J]. 楊峰,李津,李鵬程. 電子信息對(duì)抗技術(shù). 2018(04)
[8]Spark性能優(yōu)化技術(shù)研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰. 計(jì)算機(jī)科學(xué). 2018(07)
[9]Spark并行計(jì)算框架的內(nèi)存優(yōu)化[J]. 廖旺堅(jiān),黃永峰,包從開. 計(jì)算機(jī)工程與科學(xué). 2018(04)
[10]深度學(xué)習(xí)方法用于遙感圖像處理的研究進(jìn)展[J]. 羅仙仙,曾蔚,陳小瑜,張東水,莊世芳. 泉州師范學(xué)院學(xué)報(bào). 2017(06)
博士論文
[1]內(nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究[D]. 卞琛.新疆大學(xué) 2017
[2]高分辨率光學(xué)遙感圖像場(chǎng)景理解關(guān)鍵技術(shù)研究[D]. 姚西文.西北工業(yè)大學(xué) 2016
碩士論文
[1]基于GPU的Spark計(jì)算框架性能模型研究[D]. 吳夢(mèng)玲.華南理工大學(xué) 2019
[2]Ceph異構(gòu)存儲(chǔ)優(yōu)化機(jī)制研究[D]. 姚朋成.重慶郵電大學(xué) 2019
[3]Spark下遙感影像分類加速研究[D]. 黃震.新疆大學(xué) 2018
[4]遙感大數(shù)據(jù)存儲(chǔ)管理方法及交互可視化實(shí)現(xiàn)研究[D]. 余潔.中國礦業(yè)大學(xué) 2018
[5]遙感大數(shù)據(jù)的存儲(chǔ)與應(yīng)用研究[D]. 周杰民.華中科技大學(xué) 2017
本文編號(hào):3495618
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3495618.html
最近更新
教材專著