本文選題：立體視覺系統(tǒng) + 半全局匹配　； 參考：《中國(guó)科學(xué)技術(shù)大學(xué)》2017年碩士論文

【摘要】：作為計(jì)算機(jī)視覺的重要分支,立體視覺廣泛應(yīng)用于生物醫(yī)學(xué)、自動(dòng)駕駛、人機(jī)交互等嵌入式應(yīng)用。通常,立體視覺系統(tǒng)包含攝像機(jī)標(biāo)定、圖像校正、立體匹配和三維重建四個(gè)部分。立體視覺系統(tǒng)根據(jù)雙目攝像機(jī)從不同角度拍攝的兩幅圖像,經(jīng)過一系列處理,恢復(fù)出物體深度信息。由于拍攝場(chǎng)景受到光照、噪聲、反光、透視失真、遮擋、重復(fù)和低紋理的影響,立體匹配成了整個(gè)系統(tǒng)最重要和最困難的部分,匹配精度直接影響了三維重建的效果。另外,在保證匹配精度的前提下,對(duì)高分辨率圖像的實(shí)時(shí)處理是實(shí)際應(yīng)用的基本需求。本文提出了一種基于加權(quán)半全局聚合的高精度、高吞吐率的視差并行、行并行的全流水線架構(gòu),并搭建了基于FPGA的硬件架構(gòu)和驗(yàn)證模型。主要貢獻(xiàn)如下:(1)提出了一種基于半全局立體匹配的高精度、高吞吐的硬件架構(gòu)。整個(gè)架構(gòu)包含64個(gè)視差并行計(jì)算、相鄰兩行像素并行計(jì)算和五條路徑代價(jià)并行計(jì)算。采用乒乓緩存和分時(shí)復(fù)用的特定結(jié)構(gòu),來實(shí)現(xiàn)半全局聚合模塊的全流水線設(shè)計(jì),提升整個(gè)架構(gòu)的吞吐率。(2)通常的半全局算法軟件實(shí)現(xiàn)選取8或16條路徑來進(jìn)行代價(jià)聚合,但是由于部分路徑不符合數(shù)據(jù)流向,需要消耗大量的資源來存儲(chǔ)中間數(shù)據(jù),現(xiàn)有的半全局硬件實(shí)現(xiàn)以降低精度為代價(jià)將路徑數(shù)目降為4條。本文在不使用外部存儲(chǔ)器的情況下,提出了基于五條路徑聚合的自適應(yīng)路徑加權(quán)的半全局硬件架構(gòu),實(shí)驗(yàn)結(jié)果表明,視差圖精度提高了 3.69%。(3)為了提高視差不連續(xù)區(qū)域的精度,本文在平滑約束的懲罰因子計(jì)算中,對(duì)參考圖像進(jìn)行拉普拉斯邊緣增強(qiáng)。另外,在視差優(yōu)化階段,增加了碎片去除模塊來消除視差圖中的異常值,并采用修正的等角插值方法進(jìn)行亞像素插值,提高三維重建的精度。(4)完成了該架構(gòu)基于FPGA的硬件驗(yàn)證,采用Middlebury測(cè)試平臺(tái)提供的圖像對(duì)進(jìn)行匹配精度測(cè)試,平均錯(cuò)誤率為6.03%。該架構(gòu)在Altera公司StratixV FPGA上的最大工作頻率為156MHz,最大視差范圍為64,吞吐率為1280 × 960/197fps(幀/秒)。在Xilinx公司的VC707開發(fā)板上工作頻率為100MHz,吞吐率為1280 × 960/126fps。但是由于特制的乒乓緩存結(jié)構(gòu),消耗了大量的片上存儲(chǔ)資源進(jìn)行數(shù)據(jù)緩存。綜上所述,該架構(gòu)完全滿足嵌入式應(yīng)用高精度、實(shí)時(shí)性要求。
[Abstract]:As an important branch of computer vision, stereo vision is widely used in biomedical, autopilot, human-computer interaction and other embedded applications.Usually, stereo vision system includes four parts: camera calibration, image correction, stereo matching and 3D reconstruction.Stereo vision system based on binocular camera from different angles of two images, after a series of processing to restore the depth of the object information.Due to the influence of illumination, noise, reflection, perspective distortion, occlusion, repetition and low texture, stereo matching becomes the most important and difficult part of the whole system, and the matching accuracy directly affects the effect of 3D reconstruction.In addition, real-time processing of high-resolution images is the basic requirement of practical applications on the premise of matching accuracy.In this paper, a high precision, high throughput parallax parallel and line parallel all- architecture based on weighted semi-global aggregation is proposed, and the hardware architecture and verification model based on FPGA are built.The main contributions are as follows: (1) A high precision and high throughput hardware architecture based on semi-global stereo matching is proposed.The architecture consists of 64 parallax parallel computation, two adjacent pixels parallel computation and five path cost parallel computation.A special structure of ping-pong cache and time-sharing multiplexing is used to realize the all- design of semi-global aggregation module, which can improve the throughput of the whole architecture. (2) the usual semi-global algorithm software selects 8 or 16 paths to aggregate the cost.However, because some paths do not conform to the data flow direction, the existing semi-global hardware implementation reduces the number of paths to 4 at the cost of reducing the precision because a lot of resources are consumed to store the intermediate data.In this paper, a semi-global hardware architecture based on adaptive path aggregation is proposed without external memory. The experimental results show that the accuracy of parallax graph is improved by 3.69cm) in order to improve the accuracy of parallax discontinuous region.In this paper, Laplace edge enhancement is applied to the reference image in the calculation of penalty factor of smoothing constraint.In addition, in the parallax optimization stage, a fragment removal module is added to eliminate the outliers in the parallax map, and the modified isometric interpolation method is used to carry out sub-pixel interpolation to improve the accuracy of 3D reconstruction.) the hardware verification of the architecture based on FPGA is completed.The matching accuracy of image pairs provided by Middlebury test platform is tested, and the average error rate is 6.03.The maximum operating frequency of the architecture on Altera StratixV FPGA is 156 MHz, the maximum parallax range is 64, and the throughput is 1280 脳 960R 197fps( frame / sec).The frequency of working on the VC707 development board of Xilinx is 100MHz, and the throughput is 1280 脳 960R / 126fps.However, due to the special ping-pong cache structure, a large number of on-chip storage resources are consumed for data cache.To sum up, the architecture can meet the requirements of high precision and real-time of embedded application.
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 Jeremy Curtis;智能型手機(jī)研發(fā):先進(jìn)的信息接口[J];電子與電腦;2004年05期

2 陳雯菁;;淺析下一代防火墻硬件架構(gòu)[J];江西通信科技;2012年02期

3 趙翠;張誠(chéng);李紅濱;潘偉濤;邱智亮;;HINOC系統(tǒng)硬件架構(gòu)和實(shí)現(xiàn)方法[J];廣播與電視技術(shù);2011年10期

4 趙維;黃開臣;羅永紅;;Hummingbird加密算法的硬件架構(gòu)設(shè)計(jì)[J];電子科技;2013年06期

5 ;Blackmagic Design推出支持4K的Thunderbolt設(shè)備Ultra Studio 4K[J];影視制作;2012年10期

6 隋春明;陳述;;GIS硬件平臺(tái)建設(shè)實(shí)踐[J];吉林電力;2009年01期

7 劉振興;;雙向預(yù)測(cè)幀率變換算法及硬件架構(gòu)研究[J];電子與封裝;2010年06期

8 李劍峰;張江鑫;;基于GM8180的車載DVR硬件架構(gòu)的設(shè)計(jì)[J];杭州電子科技大學(xué)學(xué)報(bào);2012年05期

9 楊鴻駿;;防火墻硬件架構(gòu)發(fā)展漫談[J];計(jì)算機(jī)安全;2010年08期

10 萬世豪;PXI技術(shù)發(fā)展與近況[J];現(xiàn)代制造;2003年14期

相關(guān)會(huì)議論文 前1條

1 李劍峰;張江鑫;;基于GM8180的車載DVR硬件架構(gòu)的設(shè)計(jì)[A];浙江省電子學(xué)會(huì)2012學(xué)術(shù)年會(huì)論文集[C];2012年

相關(guān)重要報(bào)紙文章 前6條

1 本報(bào)記者 甘露;DP xFabric 迪普的變革[N];計(jì)算機(jī)世界;2014年

2 米笑;從硬件架構(gòu)著手[N];中國(guó)計(jì)算機(jī)報(bào);2004年

3 程武;3G盛宴仍難品嘗[N];中華工商時(shí)報(bào);2004年

4 陳翔;羅切斯特城堡的新故事[N];中國(guó)計(jì)算機(jī)報(bào);2008年

5 本報(bào)記者 趙艷秋;4G基站硬件架構(gòu)隨“需”應(yīng)變[N];中國(guó)電子報(bào);2010年

6 海濤;脫胎換骨[N];電腦報(bào);2004年

相關(guān)碩士學(xué)位論文 前9條

1 王榮華;面向C-RAN系統(tǒng)的研究與測(cè)試[D];南京理工大學(xué);2015年

2 琚歆;HEVC中的DCT硬件架構(gòu)設(shè)計(jì)與HLS實(shí)現(xiàn)研究[D];西安電子科技大學(xué);2014年

3 邊育心;一種支持OpenCL的異構(gòu)多核可重構(gòu)片上系統(tǒng)硬件架構(gòu)研究與設(shè)計(jì)[D];深圳大學(xué);2016年

4 李艷;雙目視覺中半全局匹配算法的硬件架構(gòu)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

5 劉學(xué)毅;基于嵌入式SoC硬件架構(gòu)的視線估計(jì)算法實(shí)現(xiàn)研究[D];天津大學(xué);2012年

6 孫小明;惡劣環(huán)境下視頻增強(qiáng)算法硬件架構(gòu)與FPGA驗(yàn)證[D];長(zhǎng)春理工大學(xué);2014年

7 李廣濤;SAN存儲(chǔ)設(shè)備的軟/硬件架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

8 藺守河;USB加密卡的硬件架構(gòu)研究與設(shè)計(jì)[D];解放軍信息工程大學(xué);2006年

9 王宇;嵌入式眼控鼠標(biāo)系統(tǒng)的硬件架構(gòu)設(shè)計(jì)[D];天津大學(xué);2009年

，

本文編號(hào)：1755925