本文選題：視頻拼接 + 畸變校正�。� 參考：《中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所)》2016年博士論文

【摘要】：目前視頻拼接技術(shù)是將具有重疊區(qū)域的多幅視頻圖像進(jìn)行拼接,進(jìn)而可以形成寬視場視頻圖像。與單目視頻圖像相比較,其在展現(xiàn)大尺寸視頻畫面的同時(shí),也可以提供更加豐富的信息。隨著目前多媒體移動(dòng)設(shè)備不斷地普及化以及廉價(jià)化,視頻拼接技術(shù)顯然已經(jīng)成為圖像處理領(lǐng)域研究的熱點(diǎn)。視頻拼接相對(duì)于圖像拼接而言,存在著視頻實(shí)時(shí)性以及同步性等難點(diǎn)問題。本文采用三路視頻流進(jìn)行相關(guān)實(shí)驗(yàn),并且采用基于改進(jìn)的SIFT算法完成對(duì)本文視頻拼接技術(shù)的研究。本文主要的研究內(nèi)容:(1)本文首先從圖像拼接的相關(guān)理論進(jìn)行簡單的介紹,主要包括攝像機(jī)的成像模型,圖像坐標(biāo)變換之間的關(guān)系,以及攝像機(jī)的運(yùn)動(dòng)模型,圖像配準(zhǔn)的含義,并對(duì)常用的配準(zhǔn)技術(shù)進(jìn)行了簡單的介紹,為后續(xù)內(nèi)容作鋪墊。(2)為了權(quán)衡攝像頭個(gè)數(shù)以及視場之間的關(guān)系,本文選用了廣角相機(jī)對(duì)其進(jìn)行成像。由于廣角相機(jī)所獲得的圖像邊緣會(huì)有嚴(yán)重的畸變,所以首先必須對(duì)畸變進(jìn)行處理,本文在選用基于直線特征的標(biāo)定方法基礎(chǔ)上,并且提出了一種彎曲測度指標(biāo)函數(shù),靠近圖像中心不同距離的曲線給予不同的權(quán)重因子,使得畸變校正更加準(zhǔn)確。(3)首先對(duì)SIFT特征提取算法進(jìn)行詳細(xì)的分析,并且針對(duì)視頻拼接的實(shí)時(shí)性要求對(duì)其進(jìn)行改進(jìn)。首先對(duì)圖像的感興趣區(qū)域進(jìn)行限制。由于SIFT算法提取的特征點(diǎn)多而且過于密集,不利于后續(xù)特征點(diǎn)的匹配與投影變換矩陣的計(jì)算,所以有必要對(duì)其進(jìn)行改進(jìn)。第一步擴(kuò)大極值點(diǎn)的搜素范圍,第二步是對(duì)提取的特征點(diǎn)進(jìn)行距離約束。仿真實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的SIFT算法比原算法速度更快,特征點(diǎn)分布也更加的均勻,同時(shí)也保持該算法原有的對(duì)光照以及旋轉(zhuǎn)的魯棒性。(4)本文選用了基于次近鄰與最近鄰距離比值的特征點(diǎn)匹配算法對(duì)特征點(diǎn)進(jìn)行粗匹配,并且選用BBF搜索策略搜索最近鄰距離與次近鄰距離特征點(diǎn),采用RANSAC算法進(jìn)行特征點(diǎn)的提純,然后使用提純后的特征點(diǎn)進(jìn)行投影變換矩陣的估計(jì)。為了消除配準(zhǔn)圖像產(chǎn)生的拼接縫,本文首先對(duì)現(xiàn)有的圖像融合算法進(jìn)行分析與實(shí)驗(yàn)對(duì)比,總結(jié)得到,加權(quán)平均融合算法能夠很好地保留圖像的細(xì)節(jié)信息,獲得更高的融合圖像質(zhì)量,在此選用此種方法對(duì)圖像進(jìn)行融合。(5)由于攝像頭的位置是固定的,在成像過程中攝像機(jī)的參數(shù)也是固定不變的,所以只需要對(duì)首幀圖像進(jìn)行特征提取計(jì)算出投影變換矩陣,其余視頻幀都利用此投影變換矩陣進(jìn)行操作,并且采用了OpenMP并行編程來優(yōu)化整個(gè)系統(tǒng),提高程序運(yùn)算效率。為了保持視頻圖像的同步采集,本文采用Directshow技術(shù)對(duì)視頻圖像進(jìn)行采集,同時(shí)設(shè)計(jì)了一種對(duì)每一路視頻在服務(wù)器中開發(fā)一個(gè)緩沖區(qū)進(jìn)行視頻流的存儲(chǔ)機(jī)制。
[Abstract]:At present, the technology of video mosaic is to concatenate multiple video images with overlapped regions, which can form wide field of view video images. Compared with monocular video images, it can provide more information while displaying large scale video images. With the popularization and low cost of multimedia mobile devices, video mosaic technology has obviously become a hot spot in the field of image processing. Compared with image stitching, video stitching has many difficulties, such as real-time and synchronism. In this paper, three channels of video streams are used to carry out related experiments, and the improved SIFT algorithm is used to complete the research of the video mosaic technology in this paper. The main research content of this paper is: (1) this paper firstly introduces the theory of image mosaic, including the imaging model of camera, the relationship between image coordinate transformation, the motion model of camera and the meaning of image registration. In order to weigh the relationship between the number of cameras and the field of view, a wide-angle camera is used to image the registration technology. Because the edge of the image obtained by the wide-angle camera will have serious distortion, the distortion must be processed first. In this paper, based on the calibration method based on linear features, a bending measure index function is proposed. The curve near the center of the image gives different weight factors, which makes the distortion correction more accurate. 3) firstly, the SIFT feature extraction algorithm is analyzed in detail, and it is improved to meet the real-time requirements of video stitching. First of all, the region of interest of the image is restricted. Because the feature points extracted by SIFT algorithm are many and too dense, it is unfavorable to the matching of feature points and the calculation of projection transformation matrix, so it is necessary to improve it. The first step is to expand the search range of extremum points, and the second step is to restrict the distance of the extracted feature points. The simulation results show that the improved SIFT algorithm is faster than the original algorithm, and the distribution of the feature points is more uniform. At the same time, it also maintains the robustness of the algorithm to illumination and rotation.) in this paper, the feature point matching algorithm based on the ratio of the distance between the next nearest neighbor and the nearest neighbor is used to match the feature points rough. BBF search strategy is used to search the nearest neighbor distance and the next nearest neighbor distance feature point, RANSAC algorithm is used to purify the feature point, and then the projection transformation matrix is estimated by using the purified feature point. In order to eliminate the stitching produced by the registration image, this paper firstly analyzes and compares the existing image fusion algorithms, and concludes that the weighted average fusion algorithm can preserve the details of the image very well. To achieve higher fusion image quality, this method is used to fuse the image. (5) because the position of the camera is fixed, the camera parameters are also fixed during the imaging process. So we only need to extract the features of the first frame image to calculate the projection transform matrix, and the other video frames are operated by the projection transformation matrix, and the OpenMP parallel programming is used to optimize the whole system and improve the efficiency of the program. In order to maintain the synchronous acquisition of video images, this paper adopts Directshow technology to capture video images, and designs a storage mechanism of video streams in a buffer for each video stream in the server.
【學(xué)位授予單位】：中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 桂志國,韓焱,王明泉,潘晉孝;大型構(gòu)件射線圖像拼接技術(shù)[J];系統(tǒng)仿真學(xué)報(bào);2001年S2期

2 王俊杰;劉家茂;胡運(yùn)發(fā);于玉;;圖像拼接技術(shù)[J];計(jì)算機(jī)科學(xué);2003年06期

3 王偉;陸佩忠;;數(shù)字圖像拼接技術(shù)[J];小型微型計(jì)算機(jī)系統(tǒng);2006年07期

4 王琦暉;;基于圖切割的圖像拼接技術(shù)[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年18期

5 方賢勇;張明敏;潘志庚;羅斌;王鵬;;基于圖切割的圖像拼接技術(shù)研究[J];中國圖象圖形學(xué)報(bào);2007年12期

6 陳立潮;王榮;陳禮民;;病理切片遠(yuǎn)程會(huì)診中圖像拼接技術(shù)的研究[J];計(jì)算機(jī)仿真;2012年02期

7 王超;;數(shù)字圖像拼接技術(shù)研究初探[J];數(shù)字技術(shù)與應(yīng)用;2012年07期

8 江鐵;朱桂斌;孫奧;;全景圖像拼接技術(shù)研究現(xiàn)狀綜述[J];重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年12期

9 李明兵;張鎖平;張東亮;齊占輝;;圖像拼接技術(shù)在海洋環(huán)境監(jiān)測中的應(yīng)用研究[J];海洋技術(shù);2012年04期

10 馮文昌;張曉亮;;圖像拼接技術(shù)在太極動(dòng)漫創(chuàng)作中的應(yīng)用[J];河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年03期

相關(guān)會(huì)議論文 前6條

1 王斌;王偉鋒;段友祥;;一種健壯的圖像拼接技術(shù)[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

2 張永杰;王艷峰;孫榮艷;顧軍華;;公路裂縫識(shí)別系統(tǒng)中的圖像拼接技術(shù)[A];2007年河北省電子學(xué)會(huì)、河北省計(jì)算機(jī)學(xué)會(huì)、河北省自動(dòng)化學(xué)會(huì)、河北省人工智能學(xué)會(huì)、河北省計(jì)算機(jī)輔助設(shè)計(jì)研究會(huì)、河北省軟件行業(yè)協(xié)會(huì)聯(lián)合學(xué)術(shù)年會(huì)論文集[C];2007年

3 湯力琨;龍建忠;;圖像拼接技術(shù)在金相分析中的運(yùn)用[A];中國自動(dòng)化學(xué)會(huì)、中國儀器儀表學(xué)會(huì)2004年西南三省一市自動(dòng)化與儀器儀表學(xué)術(shù)年會(huì)論文集[C];2004年

4 向陽;羅錫文;熊瑛;吳明亮;;基于感應(yīng)與圖像標(biāo)記結(jié)合的排種圖像拼接技術(shù)[A];中國農(nóng)業(yè)工程學(xué)會(huì)2011年學(xué)術(shù)年會(huì)論文集[C];2011年

5 孫嘯天;余建明;陳艷;;DR的圖像拼接技術(shù)在全脊柱及下肢攝影中的應(yīng)用研究[A];2010中華醫(yī)學(xué)會(huì)影像技術(shù)分會(huì)第十八次全國學(xué)術(shù)大會(huì)論文集[C];2010年

6 阮驥;;DR超長成像及圖像拼接技術(shù)的質(zhì)量控制[A];2010中華醫(yī)學(xué)會(huì)影像技術(shù)分會(huì)第十八次全國學(xué)術(shù)大會(huì)論文集[C];2010年

相關(guān)博士學(xué)位論文 前4條

1 張敏;基于多視域廣角相機(jī)視頻圖像拼接技術(shù)研究[D];中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所);2016年

2 曾霖;圖像拼接技術(shù)的研究、實(shí)現(xiàn)與應(yīng)用[D];武漢大學(xué);2012年

3 方賢勇;圖像拼接技術(shù)研究[D];浙江大學(xué);2005年

4 曹芳;自由視角多平面場景圖像拼接技術(shù)研究[D];上海大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳思聰;基于BRISK算法的圖像拼接技術(shù)研究[D];中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所);2015年

2 余讓明;基于特征的全景圖像拼接技術(shù)研究[D];西南交通大學(xué);2015年

3 羅亮;高清視頻編解碼電路設(shè)計(jì)[D];西安工業(yè)大學(xué);2015年

4 韓魯;基于運(yùn)動(dòng)平臺(tái)的圖像匹配拼接技術(shù)的研究[D];南京理工大學(xué);2015年

5 陳德勇;大幅面CIS掃描儀的自動(dòng)圖像拼接技術(shù)研究[D];電子科技大學(xué);2015年

6 任維;基于車載環(huán)視系統(tǒng)的圖像拼接技術(shù)研究[D];北京工業(yè)大學(xué);2015年

7 林小平;面向區(qū)域監(jiān)控的全景圖像拼接技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

8 王頒法;大視域圖像拼接技術(shù)在橋梁工程監(jiān)測中的應(yīng)用[D];河南工業(yè)大學(xué);2015年

9 趙斯曼;基于特征點(diǎn)的圖像拼接技術(shù)研究[D];重慶大學(xué);2015年

10 易波;基于Harris特征的圖像拼接技術(shù)研究[D];四川農(nóng)業(yè)大學(xué);2014年

，

本文編號(hào)：1811311