三維重建與目標識別作為計算機視覺領(lǐng)域的重要研究方向,被廣泛應(yīng)用于智能機器人、安防監(jiān)控以及目標追蹤等領(lǐng)域。相較于二維圖像數(shù)據(jù),點云數(shù)據(jù)記錄了目標空間位置信息,不受尺度、旋轉(zhuǎn)和光照等因素的影響,已經(jīng)成為三維重建與目標識別研究領(lǐng)域重要的數(shù)據(jù)載體。現(xiàn)有三維重建方法多忽視了重建目標的空間位置信息,在精度、速度以及算法泛化性上有著難以避免的缺陷;同時,在目標識別領(lǐng)域,現(xiàn)有研究方法多屬于監(jiān)督式學(xué)習(xí),嚴重依賴數(shù)據(jù)標注,限制了小樣本識別技術(shù)的發(fā)展。隨著深度學(xué)習(xí)、強化學(xué)習(xí)的發(fā)展,尤其是生成對抗網(wǎng)絡(luò)（Generative Adversarial Network,GAN）的出現(xiàn),為解決三維重建與目標識別領(lǐng)域的問題提供了理論依據(jù)。本文在研究卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）與生成對抗網(wǎng)絡(luò)基礎(chǔ)上,提出一種基于生成對抗網(wǎng)絡(luò)的點云模型三維重建與目標識別方法,用于重建三維目標以及無監(jiān)督式三維目標識別。主要研究內(nèi)容如下:（1）針對三維點云數(shù)據(jù)的無序性問題,在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,結(jié)合空間變換網(wǎng)絡(luò)（Spatial Transformer Network,STN）,構(gòu)建一種改... 

【文章來源】：武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

基于PointCloud

15(a)airplane模型(b)bottle模型(c)car模型圖2-1基于PointCloud點云數(shù)據(jù)的點云模型從圖2-1中的三類點云模型airplane、bottle、car可以看出，PointCloud點云數(shù)據(jù)詳細記錄了目標物體的空間位置信息，且反映了更為詳細的表面輪廓信息，同時可視化程度更高，對三維物體有著更強的描繪能力。通過對PointCloud點云數(shù)據(jù)與ModelNet40數(shù)據(jù)集的分析，本文確立了以PointCloud點云數(shù)據(jù)所表征的點云模型為研究對象和以ModelNet40數(shù)據(jù)集為實驗數(shù)據(jù)集的研究方案。2.1.2三維點云數(shù)據(jù)特性分析相較于二維圖像數(shù)據(jù)與RGB-D雙模態(tài)數(shù)據(jù)，現(xiàn)有對PointCloud點云數(shù)據(jù)的研究進展較為緩慢。主要原因是受到點云數(shù)據(jù)的三個特性[49]的制約，這三個特性分別是：無序性，點間相互作用性，變換自適應(yīng)性。它們限制了深度學(xué)習(xí)在點云數(shù)據(jù)上的應(yīng)用，尤其是卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用。（1）無序性通常在處理二維圖像時，卷積神經(jīng)網(wǎng)絡(luò)總是按照一定的順序研究二維圖像各像素點之間的關(guān)系，例如從上到下、從左到右，這是因為二維圖像不是無序的，其相鄰像素點間的關(guān)聯(lián)性強，相距遠的像素點關(guān)聯(lián)性弱。而與二維圖像中的像素陣列以及體素網(wǎng)格中的體素陣列不同，點云數(shù)據(jù)是一組沒有特殊順序的點的集合，這就造成了當處理一個包含有N個點的點云數(shù)據(jù)時，需要處理N！組點云數(shù)據(jù)，顯著增加了網(wǎng)絡(luò)模型的計算量，限制了卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用，這是卷積神經(jīng)網(wǎng)絡(luò)需要解決的第一個關(guān)鍵問題。（2）點間相互作用性盡管點云數(shù)據(jù)是無序的，但是它仍然像二維圖像一樣，具有很強的點間相互作用性。這主要是因為，點云數(shù)據(jù)中的點來自具有距離度量的空間中，它們不是孤立存在的，相鄰的點構(gòu)成了具有結(jié)構(gòu)意義的子集，例如局部特征。因此，

19眀褳眀棣眀圖2-3三維有序卷積神經(jīng)網(wǎng)絡(luò)模型圖其中，F(xiàn)eature1至Feature5表示經(jīng)卷積操作后的特征提取圖，F(xiàn)ully1至Fully3表示經(jīng)全連接操作后的特征融合圖，（1024,3,1）表示該特征圖輸入的三個維度（高度H，寬度W，通道數(shù)C）分別為高度1024，寬度3，通道數(shù)1。各卷積層及全連接層詳細參數(shù)如表2-2所示：表2-2三維有序卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)表類別input_channeloutput_channelkernelstrideconv1164(1,3)(1,1)conv26464(1,1)(1,1)conv36464(1,1)(1,1)conv464128(1,1)(1,1)conv51281024(1,1)(1,1)fc11024512\\fc2512256\\fc325640\\表2-2中，kernel中（1,3）表示卷積核的高度為1，寬度為3，其余同理；stride中（1,1）表示滑動窗口的步長高度為1，寬度為1，其余同理；非線性激活函數(shù)統(tǒng)一使用Relu型激活函數(shù)；模型損失函數(shù)采用交叉熵損失函數(shù)。2.2.3實驗結(jié)果及分析本文為檢驗三維有序卷積神經(jīng)網(wǎng)絡(luò)模型對點云數(shù)據(jù)的處理能力，建立了面向點云模型的監(jiān)督式目標識別實驗，實驗數(shù)據(jù)集為ModelNet40數(shù)據(jù)集（數(shù)據(jù)說明見2.2.1節(jié)），實驗平臺為GPU型號為GTX1080Ti的深度學(xué)習(xí)工作站。在實驗中，考慮到模型體積較大，無法在一次模型訓(xùn)練中將一個點云模型中的全部數(shù)據(jù)點輸入網(wǎng)絡(luò)模型，因此實驗采用隨機采樣的方法，從點云模型中隨機選取數(shù)據(jù)點，采樣點數(shù)目num_point為1024；由于模型在訓(xùn)練過程中存在正負樣

【參考文獻】：
期刊論文
[1]基于雙目單視面的三維重建[J]. 王珊,徐曉.  光學(xué)學(xué)報. 2017(05)
[2]融合深度相機點云與光學(xué)影像的室內(nèi)三維建模[J]. 張?zhí)駶?康志忠.  測繪科學(xué). 2016(12)
[3]用飛行時間相機優(yōu)化可視外殼的實時三維重建算法[J]. 王聰,周忠,吳威.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2013(04)
[4]基于立體視覺的三維重建算法[J]. 于明,齊菲菲,于洋,閻剛,薛翠紅.  計算機工程與設(shè)計. 2013(02)
[5]神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用[J]. 許鋒,盧建剛,孫優(yōu)賢.  信息與控制. 2003(04)

碩士論文
[1]基于圖像特征點的稠密點云三維重建[D]. 蘇濤.吉林大學(xué) 2018
[2]圖像序列三維重建方法研究與實現(xiàn)[D]. 李聰.清華大學(xué) 2014
[3]基于結(jié)構(gòu)光的3D重建系統(tǒng)[D]. 趙東威.南京大學(xué) 2013



本文編號：3575661