發(fā)布時間：2016-07-26 17:22

第 1 章 緒論

在計算機領域種種新技術的飛速發(fā)展下，人們更希望能夠突破二維顯示器的約束而以一種更加自然和諧的方式與計算機進行交流，在人們無法接觸的真實環(huán)境下，通過將使用計算機構造的虛擬物體融入到真實場景中，并用顯示設備顯示給用戶，實現(xiàn)虛實融合，實時交互，為人們更好地認識世界提供幫助。人類通過視覺認識、觀察世界，而三維的現(xiàn)實世界經過成像設備后，因很多信息被隱藏而成為了二維的圖像。通過計算機技術來獲取圖像中被隱藏的信息，恢復現(xiàn)實世界中的三維信息進而根據(jù)三維信息將虛擬物體注冊到真實場景有助于人們更全面地感知、識別和理解客觀世界。當前恢復真實場景中目標的三維信息多采用精密的硬件儀器設備，，價格昂貴，操作復雜，不利于現(xiàn)實生活中的普及，而使用普通攝像機實時拍攝和利用匹配算法計算出目標的三維信息，不受硬件設備及環(huán)境的限制，成本低廉，使用方便，但對算法的性能有很高的要求，探索能夠自動捕捉真實環(huán)境中的目標并獲取目標三維信息的方法對保證虛實融合的實時與準確至關重要。

.........

第 2 章 自然特征目標檢測跟蹤技術的研究

2.1 檢測模塊

提取出檢測過程中的目標特征能夠確保 AdaBoost 算法高效地計算目標圖像特征， Haar 特征提取算法計算速度較快，它利用黑色與白色矩形在子窗口圖像中對應部分的像素灰度值之和描述這個區(qū)域部分的特征，這種將計算特定區(qū)域內像素灰度值之和轉化為計算積分圖像中的四個頂點會大大簡化了算法的運算。利用人臉特征分布不同可以得到不同的 Haar 特征，計算黑白矩形框的像素值總和的差并標記數(shù)值大的 Haar 特征。如圖 2.4 中右下兩幅圖像分別代表眼角和眉毛的 Haar 特征。

2.2 跟蹤模塊 

與檢測不同的是跟蹤針對的為視頻序列，在連續(xù)的視頻幀中檢測出跟蹤目標是否存在，并連續(xù)跟蹤定位已檢測出的目標。每一幀之前和之后有很大的關聯(lián)性，有靜態(tài)圖像的特性，還有目標運動方向的預測，之前的參照系等很多信息。綜合使用這些信息，能夠最大限度地簡化算法的繁瑣度，提升整體性能。隨機蕨的分門別類設計特點能夠區(qū)分復雜的特征，并用模式分類的方法來取代特征提取和匹配，從而提升運算速度以及魯棒性，這個部分主要采用在線隨機蕨算法[25]，再用 SURF 特征匹配準確地定位到目標[26]。跟蹤系統(tǒng)采用隨機蕨訓練獲取圖像模板和跟蹤訓練樣本集，但是傳統(tǒng)的隨機蕨算法在訓練的過程中需要很長時間。所以將隨機蕨算法進行改進得到在線隨機蕨算法，在線訓練使用檢測到的目標作為訓練樣本。目標樣本庫由經過初始化獲取的目標作仿射變換得到，檢測目標時會自動更新樣本庫。這個算法使用在線更新樣本的方法減少了訓練的樣本數(shù)，既降低所需的內存也可滿足系統(tǒng)的實時性要求。

第 3 章 三維深度信息的計算 .................. 18

3.1  攝像機模型 ........... 18
3.2  攝像機標定 ............................ 20

第 4 章 試驗系統(tǒng)實現(xiàn)........29

4.1  系統(tǒng)框架設計 ................ 36 

4.2  圖像采集模塊 ......... 37 
4.3  檢測跟蹤模塊 ................ 38 
4.4 系統(tǒng)校正模塊 ......................... 39 
4.5  三維信息獲取模塊 ................. 43 
4.6 虛實融合模塊 ....................... 43 
4.7  系統(tǒng)運行測試 .............. 45 
4.8 小結 ........................ 46
第 5 章 結論 ................ 18

第 4 章 試驗系統(tǒng)實現(xiàn)

4.1 系統(tǒng)框架設計

系統(tǒng)的檢測跟蹤模塊采用了目標的自動檢測和跟蹤閉環(huán)系統(tǒng)。既可有效地減少檢測模塊在構建大量的正負樣本庫和構建復雜級聯(lián)分類器的工作量，又可以解決跟蹤模塊長時間跟蹤目標產生的誤差聚積導致目標跟蹤失敗的問題。系統(tǒng)的雙目攝像機校準采用了兩種模式：一種是自動校準，另一種為手動校準。自動校準可以在很少的人為交互下完成整個校準過程，但是校準精度有限，會影響后期的三維重建過程的精度。而手動校正需要大量的人為交互，但是其計算過程可以受到控制，可以進行迭代校準，得到更高精確度的校準結果。在三維重建過程中，視差圖的計算采用積分圖像等輔助方法加速計算過程，使得視差圖的計算能滿足實時系統(tǒng)的要求。然后通過獲取的視差信息完成場景中物體的三維信息的獲取，并將真實場景中的虛擬物體進行渲染后顯示到用戶終端。 

4.2 圖像采集模塊

由于網(wǎng)絡攝像頭受到環(huán)境因素的影響較大，根據(jù)環(huán)境因素的實際情況可以對圖像進行預處理。例如當環(huán)境的光照不均勻時，可以通過直方圖的均衡化方法進行預處理，來降低光照對成像質量的干擾；當攝像頭采集的圖像存在大量的噪聲時，可以使用均值濾波等技術進行圖像的平滑處理。經過預處理后會得到一組比較理想的圖像，其流程如圖 4.3 所示。采集到圖像后要檢測跟蹤目標。為了提升系統(tǒng)的智能性，減少使用者的交互，本文在檢測目標時設計了自動檢測功能。在系統(tǒng)中目標為使用者在視頻中出現(xiàn)的臉部。通過智能檢測出人臉以后，會通過跟蹤部分進行跟蹤，其原理在第 2 章已經介紹。檢測跟蹤部分由四個子模塊組成，具體有離線的分類器訓練，目標檢測，目標跟蹤和系統(tǒng)控制子模塊，如圖 4.4 所示。離線訓練模塊主要通過構建樣本庫后，不同樣本經過系統(tǒng)的訓練得到一個級聯(lián)的分類器，樣本庫包含正樣本和負樣本兩個子集。其中正樣本的作用是為檢測目標提供依據(jù)，所有的正樣本應該是和目標樣本相似或者是由目標樣本在不同情況下形成的樣本組成；負樣本包括其余的任何圖片，其作用是消除目標檢測的干擾，樣本庫構建成功后就可以通過提取樣本的特征并訓練從而得到分類器。 
....

第 5 章 結論 

增強現(xiàn)實技術的廣泛應用領域使其成為眾多學科中的研究熱點。增強現(xiàn)實中基于自然特征的虛實融合技術是增強現(xiàn)實方面研究的熱門方向之一。通過分析當前虛實融合的發(fā)展趨勢并根據(jù)課題研究的實際情況，結合對國內外大量文獻的閱讀和分析，本文主要研究了基于自然特征的虛實融合技術。首先設計了一種基于自然特征的檢測跟蹤方法。采用 AdaBoost 級聯(lián)分類器作為目標的自動檢測算法。跟蹤方法則是以在線隨機蕨為核心對目標進行定位，為了提高系統(tǒng)的實時性采用 2BitBP 描述特征，采用 P-N 學習方法快速定位目標。同時設計控制模塊解決相似目標干擾和目標跳變的問題，通過協(xié)調系統(tǒng)對目標的檢測和跟蹤，解決了因長時間運行帶來的跟蹤誤差累積和跟蹤失敗后系統(tǒng)無法自動恢復等問題。針對立體匹配算法運行速度較慢的問題設計了視差計算的加速方法，用積分圖像計算求解移動窗體內匹配代價，并通過實驗證明加速后的立體匹配算法在整體計算性能有較大的提升。由立體匹配得到視差信息，再通過三維反投影計算得到目標物體的三維信息，最后進行三維場景重建的工作。

........

參考文獻（略）

本文編號：76001