基于幀間相似性的光場(chǎng)圖像壓縮與對(duì)象分割算法
發(fā)布時(shí)間:2021-01-28 20:53
光場(chǎng)圖像是能夠?qū)θS場(chǎng)景進(jìn)行表達(dá)的一種新型數(shù)據(jù)結(jié)構(gòu)。一張光場(chǎng)圖像理論上完整地記錄了空間內(nèi)所有光線在所有空間和角度位置下的情況,可以用于三維重建、深度估計(jì)、重聚焦等等方面,F(xiàn)實(shí)中已經(jīng)有大量的游戲、穿戴設(shè)備等應(yīng)用了光場(chǎng)技術(shù),能夠提供更加自然的三維仿真體驗(yàn)。光場(chǎng)圖像可以由普通相機(jī)通過(guò)掃描式或陣列式結(jié)構(gòu)拍攝,再或者由專門(mén)的光場(chǎng)相機(jī)進(jìn)行拍攝。光場(chǎng)相機(jī)使用內(nèi)置的微透鏡陣列對(duì)同一場(chǎng)景進(jìn)行多空間位置,多角度方向的拍攝,其中包含了同一場(chǎng)景的四維信息。與普通圖像相比,其具有超大的數(shù)據(jù)量、超高的空間冗余量。光場(chǎng)圖像在存儲(chǔ)、可視化等等方面還有大量需要被完成的基礎(chǔ)工作。當(dāng)前主流的光場(chǎng)圖像處理過(guò)程都需要先將其解碼為偽序列。解碼后的圖像陣列是相鄰幀具有微小變化的二維序列,按照不同的掃描方式可以將其一維化轉(zhuǎn)換為偽序列。偽序列的表示使得光場(chǎng)的空間角度結(jié)構(gòu)得到了更加清晰的展現(xiàn)。與一般圖像集相比,這樣的偽序列在幀與幀之間僅具有微小的空間角度參數(shù)變化。本文將利用這樣的特性,針對(duì)光場(chǎng)圖像壓縮算法和對(duì)象分割算法兩方面的具體實(shí)現(xiàn)來(lái)進(jìn)行討論,對(duì)幀間相似性提出相應(yīng)的更為恰當(dāng)?shù)亩攘?以提高算法的性能。針對(duì)偽序列的壓縮算法,我們使用基于視...
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:69 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1?M.Levoy等提出的4維光場(chǎng)模型
?第1章緒?論???V?t??一一?L(u,v,s,t)??圖1.1?M.Levoy等提出的4維光場(chǎng)模型。??數(shù)化表示為L(W,y,s,r)。這樣的模型也適用于現(xiàn)實(shí)中絕大部分的成像系統(tǒng)。??1.1.2光場(chǎng)圖像的獲取??圖1.2經(jīng)過(guò)后處理的原始光場(chǎng)圖像。??根據(jù)4維光場(chǎng)圖像的表示理論,為了記錄空間光線信息,掃描式與陣列式??光場(chǎng)相機(jī)先后被設(shè)計(jì)出來(lái)。掃描式相機(jī)通過(guò)將普通相機(jī)架設(shè)在可移動(dòng)的裝置上,??移動(dòng)相機(jī)的同時(shí)使用不同的相機(jī)參數(shù)并按順序記錄對(duì)應(yīng)的場(chǎng)景信息,并通過(guò)記??錄相機(jī)的位置,角度和內(nèi)參獲取空間,角度和固定參數(shù)。如,Levoy等將相機(jī)架??設(shè)在有4個(gè)自由度的機(jī)械臂上,通過(guò)調(diào)整機(jī)械臂參數(shù)實(shí)現(xiàn)移動(dòng)。這樣的相機(jī)成本??較低,但樣本獲取時(shí)間過(guò)長(zhǎng),不滿足4維光場(chǎng)函數(shù)的對(duì)單一時(shí)間的假設(shè),無(wú)法捕??捉動(dòng)態(tài)的場(chǎng)景。并且,裝置的實(shí)現(xiàn)復(fù)雜,不足以進(jìn)行生活中的應(yīng)用。陣列式相機(jī)??則在同一時(shí)間不同空間角度位置設(shè)立相機(jī)組進(jìn)行采樣,這樣會(huì)使結(jié)構(gòu)更加緊湊??但成本較高,作為代表的有斯坦福大學(xué)的陣列相機(jī)組,F(xiàn)行主流的光場(chǎng)相機(jī)如??Lytro相機(jī)等是基于陣列式的,但其并非通過(guò)多相機(jī)拍攝,而通常是在單相機(jī)內(nèi)??部的成像元件前插入微透鏡陣列代替多相機(jī)排列采樣的方式,達(dá)到4維采樣的??目的。這樣的相機(jī)結(jié)構(gòu)進(jìn)一步降低了多相機(jī)拍攝的成本,同時(shí)相機(jī)參數(shù)也更加容??易控制。Lytro相機(jī)是一款商業(yè)級(jí)的光場(chǎng)相機(jī),第一版于2012年發(fā)布,由主透鏡??和微透鏡陣列共同組成鏡頭,使用了基于光場(chǎng)的重聚焦技術(shù)使拍攝過(guò)程免于對(duì)??焦。Raytrix公司也開(kāi)發(fā)了一系列商業(yè)級(jí)的光場(chǎng)相機(jī),其精度和價(jià)格均高于Lytro??2??
和碼率分配策略。[8]在上述工作的基礎(chǔ)上,根據(jù)普通視頻序列的層次編碼結(jié)構(gòu),??擴(kuò)展出2維空間上的層次編碼結(jié)構(gòu),并進(jìn)一步據(jù)此給出了參考幀的選擇方法。??3_?JPEG?Pleno?標(biāo)準(zhǔn)??JPEG在2015年推出了?JPEG?Pleno標(biāo)準(zhǔn)來(lái)處理光場(chǎng)圖像的壓縮。JPEG?Pleno??本身包括4個(gè)部分,光場(chǎng)數(shù)據(jù)的壓縮處于第2部分,旨在標(biāo)準(zhǔn)化光場(chǎng)編碼技術(shù)和??元數(shù)據(jù)格式,使得其能夠處理光場(chǎng)應(yīng)用上的如相機(jī)校準(zhǔn)等問(wèn)題。該標(biāo)準(zhǔn)不僅針對(duì)??紋理,也會(huì)對(duì)視差和深度信息提供相應(yīng)的編碼和解碼工具。如圖1.3所示,JPEG??D。簦?Map?V?4D?Prediction??I ̄^X?Mode? ̄\??Camera?」p?^???1?JPEG?Pleno??Parameters?I?1?—?File?Format??,1?4D?Transform?一????Light?Field?-1T?[?Mode?[??圖1.3?JPEG?P丨eno中光場(chǎng)編碼器的結(jié)構(gòu)。??Pleno的光場(chǎng)編碼器使用原始光場(chǎng)(Light?Field),深度圖(Depth?Map)和相機(jī)參數(shù)??(Camera?Parameters)對(duì)光場(chǎng)圖像進(jìn)行編碼,并提供了?4維預(yù)測(cè)編碼(4D?Prediction??Mode)和4維變換編碼(4D?Transform?Mode)兩種模式。如1.4所不,和視頻序??列層次編碼思想類似,4維預(yù)測(cè)模式先將view按照空間位置劃分為不同層次的??子集,高層子集中的幀使用相鄰的低層子集中的幀根據(jù)深度圖的變換結(jié)果作為??參考(Reference?View?Coding)。變換結(jié)果再根據(jù)最優(yōu)線性預(yù)測(cè)進(jìn)行view的融
本文編號(hào):3005676
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:69 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1?M.Levoy等提出的4維光場(chǎng)模型
?第1章緒?論???V?t??一一?L(u,v,s,t)??圖1.1?M.Levoy等提出的4維光場(chǎng)模型。??數(shù)化表示為L(W,y,s,r)。這樣的模型也適用于現(xiàn)實(shí)中絕大部分的成像系統(tǒng)。??1.1.2光場(chǎng)圖像的獲取??圖1.2經(jīng)過(guò)后處理的原始光場(chǎng)圖像。??根據(jù)4維光場(chǎng)圖像的表示理論,為了記錄空間光線信息,掃描式與陣列式??光場(chǎng)相機(jī)先后被設(shè)計(jì)出來(lái)。掃描式相機(jī)通過(guò)將普通相機(jī)架設(shè)在可移動(dòng)的裝置上,??移動(dòng)相機(jī)的同時(shí)使用不同的相機(jī)參數(shù)并按順序記錄對(duì)應(yīng)的場(chǎng)景信息,并通過(guò)記??錄相機(jī)的位置,角度和內(nèi)參獲取空間,角度和固定參數(shù)。如,Levoy等將相機(jī)架??設(shè)在有4個(gè)自由度的機(jī)械臂上,通過(guò)調(diào)整機(jī)械臂參數(shù)實(shí)現(xiàn)移動(dòng)。這樣的相機(jī)成本??較低,但樣本獲取時(shí)間過(guò)長(zhǎng),不滿足4維光場(chǎng)函數(shù)的對(duì)單一時(shí)間的假設(shè),無(wú)法捕??捉動(dòng)態(tài)的場(chǎng)景。并且,裝置的實(shí)現(xiàn)復(fù)雜,不足以進(jìn)行生活中的應(yīng)用。陣列式相機(jī)??則在同一時(shí)間不同空間角度位置設(shè)立相機(jī)組進(jìn)行采樣,這樣會(huì)使結(jié)構(gòu)更加緊湊??但成本較高,作為代表的有斯坦福大學(xué)的陣列相機(jī)組,F(xiàn)行主流的光場(chǎng)相機(jī)如??Lytro相機(jī)等是基于陣列式的,但其并非通過(guò)多相機(jī)拍攝,而通常是在單相機(jī)內(nèi)??部的成像元件前插入微透鏡陣列代替多相機(jī)排列采樣的方式,達(dá)到4維采樣的??目的。這樣的相機(jī)結(jié)構(gòu)進(jìn)一步降低了多相機(jī)拍攝的成本,同時(shí)相機(jī)參數(shù)也更加容??易控制。Lytro相機(jī)是一款商業(yè)級(jí)的光場(chǎng)相機(jī),第一版于2012年發(fā)布,由主透鏡??和微透鏡陣列共同組成鏡頭,使用了基于光場(chǎng)的重聚焦技術(shù)使拍攝過(guò)程免于對(duì)??焦。Raytrix公司也開(kāi)發(fā)了一系列商業(yè)級(jí)的光場(chǎng)相機(jī),其精度和價(jià)格均高于Lytro??2??
和碼率分配策略。[8]在上述工作的基礎(chǔ)上,根據(jù)普通視頻序列的層次編碼結(jié)構(gòu),??擴(kuò)展出2維空間上的層次編碼結(jié)構(gòu),并進(jìn)一步據(jù)此給出了參考幀的選擇方法。??3_?JPEG?Pleno?標(biāo)準(zhǔn)??JPEG在2015年推出了?JPEG?Pleno標(biāo)準(zhǔn)來(lái)處理光場(chǎng)圖像的壓縮。JPEG?Pleno??本身包括4個(gè)部分,光場(chǎng)數(shù)據(jù)的壓縮處于第2部分,旨在標(biāo)準(zhǔn)化光場(chǎng)編碼技術(shù)和??元數(shù)據(jù)格式,使得其能夠處理光場(chǎng)應(yīng)用上的如相機(jī)校準(zhǔn)等問(wèn)題。該標(biāo)準(zhǔn)不僅針對(duì)??紋理,也會(huì)對(duì)視差和深度信息提供相應(yīng)的編碼和解碼工具。如圖1.3所示,JPEG??D。簦?Map?V?4D?Prediction??I ̄^X?Mode? ̄\??Camera?」p?^???1?JPEG?Pleno??Parameters?I?1?—?File?Format??,1?4D?Transform?一????Light?Field?-1T?[?Mode?[??圖1.3?JPEG?P丨eno中光場(chǎng)編碼器的結(jié)構(gòu)。??Pleno的光場(chǎng)編碼器使用原始光場(chǎng)(Light?Field),深度圖(Depth?Map)和相機(jī)參數(shù)??(Camera?Parameters)對(duì)光場(chǎng)圖像進(jìn)行編碼,并提供了?4維預(yù)測(cè)編碼(4D?Prediction??Mode)和4維變換編碼(4D?Transform?Mode)兩種模式。如1.4所不,和視頻序??列層次編碼思想類似,4維預(yù)測(cè)模式先將view按照空間位置劃分為不同層次的??子集,高層子集中的幀使用相鄰的低層子集中的幀根據(jù)深度圖的變換結(jié)果作為??參考(Reference?View?Coding)。變換結(jié)果再根據(jù)最優(yōu)線性預(yù)測(cè)進(jìn)行view的融
本文編號(hào):3005676
本文鏈接:http://www.sikaile.net/shoufeilunwen/xixikjs/3005676.html
最近更新
教材專著