基于深度學(xué)習(xí)的高光譜圖像空譜超分辨率重建
發(fā)布時(shí)間:2021-06-13 07:31
高光譜成像技術(shù)通常以數(shù)十個(gè)或數(shù)百個(gè)波段的形式記錄場(chǎng)景的光譜信息,其中每個(gè)波段對(duì)應(yīng)于特定狹窄的波長(zhǎng)范圍。采集到的高光譜圖像相比于彩色圖像包含更豐富的光譜信息,同時(shí)場(chǎng)景的光譜特性已經(jīng)被證明對(duì)多個(gè)研究領(lǐng)域有幫助。在傳統(tǒng)行業(yè)中,高光譜成像技術(shù)已經(jīng)被用于遙感成像,藥物檢測(cè),礦物勘探等領(lǐng)域。而最近高光譜圖像開(kāi)始應(yīng)用在許多計(jì)算機(jī)視覺(jué)任務(wù)中,例如圖像分割,人臉識(shí)別,物體跟蹤等任務(wù)。在傳統(tǒng)獲取高光譜圖像的過(guò)程中通常使用二維傳感器捕捉三維信息,所以不可避免地要在光譜分辨率和空間或者時(shí)間分辨率間做出權(quán)衡。例如在捕捉動(dòng)態(tài)場(chǎng)景的光譜信息時(shí),快照式光譜成像技術(shù)通過(guò)犧牲空間分辨率來(lái)?yè)Q取光譜分辨率,因此高光譜圖像空間超分辨率技術(shù)經(jīng)常被用在圖像后處理中。此外,由于高光譜成像技術(shù)中的硬件系統(tǒng)和重建算法仍然存在高復(fù)雜度的問(wèn)題,隨著研究者們提出基于彩色相機(jī)的高光譜成像技術(shù),從彩色圖像到高光譜圖像的重建算法(光譜超分辨率)成為研究關(guān)鍵點(diǎn)。本文旨在探究基于深度學(xué)習(xí)的光譜重建算法。圍繞這一核心,研究?jī)?nèi)容大體分為光譜超分辨率和高光譜圖像空間超分辨率兩方面。同時(shí)我們也利用高空間分辨率彩色圖像與低空間分辨率高光譜圖像之間的互補(bǔ)信息,完成...
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.2高光譜成像技術(shù)中的掃描方式 ̄??如圖1.2?(a)所示,擺掃式成像技術(shù)每一次只釆集一個(gè)像素點(diǎn)上的所有光譜信??息,通過(guò)向其他空間兩個(gè)方向移動(dòng)釆集場(chǎng)景其他像素點(diǎn)的光譜信息
?第1章緒?論???Hvpercubc?(r)?RGB?Image??■^■^OreenCO)??。猓蓿。福?。椋椋??UV??NIR?X?^?X?^?B?G?R??Wavelength).?Wavelength?k??圖1.3高光譜圖像與彩色圖像的對(duì)比|8]??法。這些方法通常使用耦合釆集加計(jì)算重構(gòu)的方法獲取高光譜圖像。三個(gè)有代??表性的工作包括計(jì)算層析成像技術(shù)(Computed?Tomography?Imaging?Spectrometer,??CTIS丨5】),棱鏡掩模多光譜視頻成像系統(tǒng)(Prism?Mask?Multispectral?Video?Imaging??System,?PMVIS[6]),編碼光圈光譜成像儀(Coded?Aperture?Snapshot?Spectral?Im???ager,?CASSI[7])。?這些方法通過(guò)構(gòu)建復(fù)雜的重建算法來(lái)降低構(gòu)建高光譜成像系統(tǒng)??的難度,從而提高高光譜圖像重建質(zhì)量。雖然上述幾種方式都能得到質(zhì)量較好的??高光譜圖像,但是仍然存在重建算法設(shè)計(jì)復(fù)雜、系統(tǒng)搭建困難、需要犧牲時(shí)間或??空間維度來(lái)?yè)Q取光譜維度等缺陷。??最近研究者們開(kāi)始嘗試僅僅利用彩色圖像重建得到高光譜圖像,彩色圖像??與高光譜圖像的區(qū)別如圖1.3所示。相比于彩色圖像,高光譜圖像包含更多的光??譜信息。與圖像超分辨率問(wèn)題類似,利用彩色圖像恢復(fù)高光譜圖像同樣是一個(gè)??不適定問(wèn)題,在降至過(guò)程中有大量的光譜信息丟失。研究者們開(kāi)始基于彩色數(shù)??碼相機(jī)和其他光學(xué)元器件設(shè)計(jì)一個(gè)特定的系統(tǒng)。Goel.M等人%在時(shí)間多路復(fù)用??光源照射的場(chǎng)景下使用彩色數(shù)碼相機(jī)捕捉場(chǎng)景,場(chǎng)景的反射率利用計(jì)算方法跨
?第1章緒?論???—??_?+?H_?讓?+??SKLt?Reconstruct???>??HRRCB?Wi?^??_&2?HR?HSI??Snapshot??ism??圖1.4常見(jiàn)的高光譜圖像蜇建問(wèn)題??及基于快照式的光譜重建。高光譜空間超分辨率類似于單張圖像的超分辨率任??務(wù),即輸入一張低空間分辨率的高光譜圖像輸出一張高空間分辨率的高光譜圖??像。高光譜圖像空間超分辨率任務(wù)是一個(gè)嚴(yán)格的不適定問(wèn)題,目前解決這個(gè)問(wèn)題??的主流方法是使用基于學(xué)習(xí)的方法。之前最有代表性的是基于稀疏編碼(sparse??coding)的方法[12],它將低空間分辨率高光譜數(shù)據(jù)和高空間分辨率高光譜數(shù)據(jù)??作為一個(gè)外部數(shù)據(jù)庫(kù)來(lái)學(xué)習(xí)兩者間的關(guān)系,通過(guò)這個(gè)關(guān)系在給定一張新的低空??間分辨率高光譜數(shù)據(jù)時(shí)能夠重建出高空間分辨率的高光譜圖像。一般訓(xùn)練數(shù)據(jù)??中的高分辨率高光譜圖像可以通過(guò)掃描式的光譜儀得到。隨著深度學(xué)習(xí)的成功??興起,基于卷積神經(jīng)網(wǎng)絡(luò)的方法開(kāi)始取代之前基于字典學(xué)習(xí)的方法,這種方法直??接學(xué)習(xí)低空間分辨率和高空間分辨率高光譜圖像間的映射關(guān)系。Li等人Ml首次??在高光譜空間超分辨率任務(wù)中使用卷積神經(jīng)網(wǎng)絡(luò),同時(shí)提出一個(gè)空間限制,強(qiáng)制??要求高光譜重建圖像下釆樣得到的低空間分辨率高光譜圖像與之前網(wǎng)絡(luò)的輸入??盡可能相似。更進(jìn)一步,Mei等人提出使用3D卷積神經(jīng)網(wǎng)絡(luò),這種方法的優(yōu)??勢(shì)在于可以同時(shí)利用空間場(chǎng)景信息和譜帶之間的相關(guān)性。??高光譜圖像空譜聯(lián)合超分辨率,顧名思義就是輸入一張高空間分辨率的彩色??圖像和低空間分辨率的高光譜圖像聯(lián)合重建出高空間分辨率的高光譜圖像,這??也可以被認(rèn)為是一種圖像間的融合。高光譜圖像
本文編號(hào):3227287
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.2高光譜成像技術(shù)中的掃描方式 ̄??如圖1.2?(a)所示,擺掃式成像技術(shù)每一次只釆集一個(gè)像素點(diǎn)上的所有光譜信??息,通過(guò)向其他空間兩個(gè)方向移動(dòng)釆集場(chǎng)景其他像素點(diǎn)的光譜信息
?第1章緒?論???Hvpercubc?(r)?RGB?Image??■^■^OreenCO)??。猓蓿。福?。椋椋??UV??NIR?X?^?X?^?B?G?R??Wavelength).?Wavelength?k??圖1.3高光譜圖像與彩色圖像的對(duì)比|8]??法。這些方法通常使用耦合釆集加計(jì)算重構(gòu)的方法獲取高光譜圖像。三個(gè)有代??表性的工作包括計(jì)算層析成像技術(shù)(Computed?Tomography?Imaging?Spectrometer,??CTIS丨5】),棱鏡掩模多光譜視頻成像系統(tǒng)(Prism?Mask?Multispectral?Video?Imaging??System,?PMVIS[6]),編碼光圈光譜成像儀(Coded?Aperture?Snapshot?Spectral?Im???ager,?CASSI[7])。?這些方法通過(guò)構(gòu)建復(fù)雜的重建算法來(lái)降低構(gòu)建高光譜成像系統(tǒng)??的難度,從而提高高光譜圖像重建質(zhì)量。雖然上述幾種方式都能得到質(zhì)量較好的??高光譜圖像,但是仍然存在重建算法設(shè)計(jì)復(fù)雜、系統(tǒng)搭建困難、需要犧牲時(shí)間或??空間維度來(lái)?yè)Q取光譜維度等缺陷。??最近研究者們開(kāi)始嘗試僅僅利用彩色圖像重建得到高光譜圖像,彩色圖像??與高光譜圖像的區(qū)別如圖1.3所示。相比于彩色圖像,高光譜圖像包含更多的光??譜信息。與圖像超分辨率問(wèn)題類似,利用彩色圖像恢復(fù)高光譜圖像同樣是一個(gè)??不適定問(wèn)題,在降至過(guò)程中有大量的光譜信息丟失。研究者們開(kāi)始基于彩色數(shù)??碼相機(jī)和其他光學(xué)元器件設(shè)計(jì)一個(gè)特定的系統(tǒng)。Goel.M等人%在時(shí)間多路復(fù)用??光源照射的場(chǎng)景下使用彩色數(shù)碼相機(jī)捕捉場(chǎng)景,場(chǎng)景的反射率利用計(jì)算方法跨
?第1章緒?論???—??_?+?H_?讓?+??SKLt?Reconstruct???>??HRRCB?Wi?^??_&2?HR?HSI??Snapshot??ism??圖1.4常見(jiàn)的高光譜圖像蜇建問(wèn)題??及基于快照式的光譜重建。高光譜空間超分辨率類似于單張圖像的超分辨率任??務(wù),即輸入一張低空間分辨率的高光譜圖像輸出一張高空間分辨率的高光譜圖??像。高光譜圖像空間超分辨率任務(wù)是一個(gè)嚴(yán)格的不適定問(wèn)題,目前解決這個(gè)問(wèn)題??的主流方法是使用基于學(xué)習(xí)的方法。之前最有代表性的是基于稀疏編碼(sparse??coding)的方法[12],它將低空間分辨率高光譜數(shù)據(jù)和高空間分辨率高光譜數(shù)據(jù)??作為一個(gè)外部數(shù)據(jù)庫(kù)來(lái)學(xué)習(xí)兩者間的關(guān)系,通過(guò)這個(gè)關(guān)系在給定一張新的低空??間分辨率高光譜數(shù)據(jù)時(shí)能夠重建出高空間分辨率的高光譜圖像。一般訓(xùn)練數(shù)據(jù)??中的高分辨率高光譜圖像可以通過(guò)掃描式的光譜儀得到。隨著深度學(xué)習(xí)的成功??興起,基于卷積神經(jīng)網(wǎng)絡(luò)的方法開(kāi)始取代之前基于字典學(xué)習(xí)的方法,這種方法直??接學(xué)習(xí)低空間分辨率和高空間分辨率高光譜圖像間的映射關(guān)系。Li等人Ml首次??在高光譜空間超分辨率任務(wù)中使用卷積神經(jīng)網(wǎng)絡(luò),同時(shí)提出一個(gè)空間限制,強(qiáng)制??要求高光譜重建圖像下釆樣得到的低空間分辨率高光譜圖像與之前網(wǎng)絡(luò)的輸入??盡可能相似。更進(jìn)一步,Mei等人提出使用3D卷積神經(jīng)網(wǎng)絡(luò),這種方法的優(yōu)??勢(shì)在于可以同時(shí)利用空間場(chǎng)景信息和譜帶之間的相關(guān)性。??高光譜圖像空譜聯(lián)合超分辨率,顧名思義就是輸入一張高空間分辨率的彩色??圖像和低空間分辨率的高光譜圖像聯(lián)合重建出高空間分辨率的高光譜圖像,這??也可以被認(rèn)為是一種圖像間的融合。高光譜圖像
本文編號(hào):3227287
本文鏈接:http://www.sikaile.net/shoufeilunwen/xixikjs/3227287.html
最近更新
教材專著