視覺慣性里程計(jì)（VIO）被廣泛應(yīng)用于無人機(jī)、無人駕駛、VR/AR等領(lǐng)域中,用于解決移動(dòng)端在未知環(huán)境中實(shí)時(shí)定位的問題,具有重要的研究價(jià)值。為了提升位姿估計(jì)的準(zhǔn)確性和魯棒性,本文提出了基于點(diǎn)、線特征的采用緊耦合優(yōu)化方法的視覺慣性里程計(jì)。線特征廣泛存在于人造環(huán)境中,在VIO中添加對環(huán)境中線特征的觀測,在紋理缺失的環(huán)境中線特征可以為VIO提供足夠多的幀間視覺信息約束。本文的主要研究內(nèi)容和研究方法包括:1.在點(diǎn)特征跟蹤模塊中通過最小化幀間圖像灰度誤差的方法估計(jì)幀間的單應(yīng)變換矩陣和幀間的仿射亮度變化參數(shù),然后用單應(yīng)矩陣預(yù)測特征點(diǎn)在當(dāng)前圖像幀的位置,最后用KLT光流法跟蹤特征點(diǎn)準(zhǔn)確位置,本文的這種跟蹤方法可以得到更高的跟蹤成功率。在線征跟蹤中本文采用先跟蹤直線采樣點(diǎn)的方法,再對直線進(jìn)行篩選。2.本文中采用了一種新的IMU預(yù)積分方法,對IMU的預(yù)積分狀態(tài)先用中值積分方法積分再推導(dǎo)出離散形式的誤差狀態(tài)方程,通過誤差狀態(tài)方程求得IMU預(yù)積分的均值和誤差狀態(tài)的協(xié)方差,從本文的最終位姿估計(jì)結(jié)果中證實(shí)了這個(gè)預(yù)積分方法的可靠性。3.在VIO的滑動(dòng)窗口優(yōu)化器中,本文采用非線性優(yōu)化的方法最小化視覺點(diǎn)特征觀測殘差、視覺... 

【文章來源】： 何宇喆 哈爾濱工業(yè)大學(xué)

【文章頁數(shù)】：91 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

百度無人駕駛出租車與大疆無人機(jī)實(shí)時(shí)準(zhǔn)確的定位功能通常是無人設(shè)備自主運(yùn)行的必備功能，是無人設(shè)備完成

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文第2章圖像視覺特征的跟蹤2.1引言相機(jī)圖像測量的處理是VIO系統(tǒng)的重要組成部分，圖像處理模塊中主要是對圖像的元素進(jìn)行跟蹤，通常選擇跟蹤圖像中的點(diǎn)特征和線特征，點(diǎn)特征的跟蹤方法通常為特征點(diǎn)法、直接法和半直接法。特征點(diǎn)法需要先提取圖像中的點(diǎn)特征，例如ORB[39]，SIFT[40]，SURF[41]特征點(diǎn)，然后計(jì)算特征的描述子，通過對比描述子進(jìn)行幀間特征的匹配，在后端中優(yōu)化點(diǎn)的重投影位置誤差來估計(jì)位姿。直接法通常選擇跟蹤圖像中具有較大像素梯度的點(diǎn)，跟蹤方法通常計(jì)算點(diǎn)所在的像素塊間的亮度誤差來確定是否匹配，同樣采用優(yōu)化點(diǎn)的灰度誤差來估計(jì)位姿。半直接法通常選擇跟蹤圖像中的角點(diǎn)，通過最小化圖像塊灰度誤差來確定新的圖像幀中對應(yīng)角點(diǎn)的位置，在后端中優(yōu)化點(diǎn)的重投影位置誤差來估計(jì)位姿。通常特征點(diǎn)法具有對光照不敏感的優(yōu)點(diǎn)，但是運(yùn)行速度較慢。直接法跟蹤運(yùn)行的速度較快，但是對光照敏感，由于相機(jī)的曝光時(shí)間變化引起的圖像亮度變化容易導(dǎo)致系統(tǒng)跟蹤失敗，為了應(yīng)對光照變化，DSO中采用光度標(biāo)定的方法來提高跟蹤穩(wěn)定性。半直接法的代表作SVO具有極高的運(yùn)行速度，因此本文中特征點(diǎn)跟蹤方法主要借鑒了半直接法SVO的思想，先粗略預(yù)測特征點(diǎn)在新一幀圖像的位置，再用LK[42]光流法跟蹤到特征點(diǎn)的準(zhǔn)確位置，因此本文中特征點(diǎn)跟蹤方法獲得了較高的跟蹤成功率和跟蹤速度。在跟蹤線特征方法中常用計(jì)算線特征的LBD[35]描述子進(jìn)行匹配，但是這種方法需要的計(jì)算量較大，因此本文中利用在跟蹤點(diǎn)特征時(shí)估計(jì)的變換矩陣先粗略估算出線特征在當(dāng)前圖像幀中的位置，再調(diào)優(yōu)線特征的準(zhǔn)確位置。整個(gè)圖像視覺特征的跟蹤流程如圖2-1所示：圖2-1圖像視覺特征的跟蹤流程-8-

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文2.2圖像特征點(diǎn)的提取和跟蹤2.2.1圖像特征點(diǎn)的提取圖像特征點(diǎn)常用的有FAST[43]角點(diǎn)，Harris角點(diǎn)和Shi-Tomasi角點(diǎn)，其中Harris[44]角點(diǎn)和Shi-Tomasi[45]角點(diǎn)需要用在用一個(gè)窗口在圖像上滑動(dòng)，并不斷計(jì)算滑動(dòng)窗口內(nèi)圖像塊的Hessian矩陣及其特征值，因此提取Harris角點(diǎn)和Shi-Tomasi角點(diǎn)的速度較慢，特別是在圖像金字塔內(nèi)提取，會(huì)在提取特征點(diǎn)上花費(fèi)較長時(shí)間。而提取FAST角點(diǎn)時(shí)，僅需要計(jì)算像素點(diǎn)和以它為中心的半徑為3上的圓周上16個(gè)像素點(diǎn)的灰度差值，因此提取FAST角點(diǎn)速度較快，所以本文先提取FAST角點(diǎn)作為特征點(diǎn)的候選點(diǎn)集。FAST角點(diǎn)的提取方法為，選擇圖像平面一個(gè)像素p，其灰度值為Ip，再設(shè)定一個(gè)閾值T，以該像素為中心，在半徑為3的圓周上選擇16個(gè)像素點(diǎn)，若這16個(gè)點(diǎn)中有連續(xù)N個(gè)特征點(diǎn)的灰度值大于Ip+T或者小于IpT，則這個(gè)像素點(diǎn)為FAST角點(diǎn)，對圖像所以像素重復(fù)執(zhí)行上面的操作。通常取N=9能夠有較好的提取效果。FAST角點(diǎn)提取算法在一些情況下即使Shi-Tomasi響應(yīng)值很大，但是仍然不能提取出角點(diǎn)，例如類似棋盤格灰度模式的角點(diǎn)，所以本文借鑒了LIBVISO2[46]中的角點(diǎn)提取算法，采用圖2-2所示的5×5大小的卷積核與圖像做卷積運(yùn)算，選取卷積結(jié)果的絕對值作為這個(gè)像素點(diǎn)的評分，然后在3×3大小的區(qū)域內(nèi)用非極大值抑制篩選出候選角點(diǎn)進(jìn)行后續(xù)處理。圖2-25×5大小卷積核通過圖2-3兩種角點(diǎn)提取的算法可以看出，用卷積的方法可以準(zhǔn)確，穩(wěn)定的提取出棋盤格的角點(diǎn)。由于棋盤格的黑白交界處，圖像易受到鋸齒狀噪聲的干擾，F(xiàn)AST角點(diǎn)提取算法在棋盤格角點(diǎn)附近提取出了由于噪聲形成的角點(diǎn)，這些角點(diǎn)在特征點(diǎn)跟蹤中是很不穩(wěn)定的，影響位姿的最終求解精度。通常特征點(diǎn)是具有尺度的，因此本文中先利用原始圖像建立尺度?


本文編號(hào)：3035356