近年來,深度學(xué)習(xí)技術(shù)在計算機視覺領(lǐng)域取得了巨大的成功,表現(xiàn)出了驚人的學(xué)習(xí)表征能力。盡管成就是顯著的,但大多數(shù)深度學(xué)習(xí)模型都依靠大量的標(biāo)簽數(shù)據(jù)來實現(xiàn)和提高它們的性能。因此,如何在沒有大量標(biāo)記的數(shù)據(jù)中學(xué)到知識就顯得尤為重要。遷移學(xué)習(xí)旨在從一個場景中學(xué)習(xí)到的知識遷移到另一個相似的應(yīng)用場景中,是深度學(xué)習(xí)“落地”的一種重要探索。本文立足于遷移學(xué)習(xí)算法及其在自動駕駛中的應(yīng)用研究,主要工作如下:（1）針對閉集域自適應(yīng)問題,本文提出了一種可迭代的域自適應(yīng)方法,逐漸為無標(biāo)記的目標(biāo)域樣本打上偽標(biāo)簽,并利用帶有偽標(biāo)簽的目標(biāo)域樣本訓(xùn)練目標(biāo)分類器。該方法為直接優(yōu)化分類誤差提供了依據(jù),并適用于無監(jiān)督和弱監(jiān)督的場景。在無監(jiān)督的域自適應(yīng)領(lǐng)域中,該方法的性能可與最先進的域自適應(yīng)方法相媲美。實驗表明,它對無監(jiān)督域自適應(yīng)的困難任務(wù)仍表現(xiàn)的良好。（2）針對開放集域自適應(yīng)問題,本文在OSDA-BP算法的基礎(chǔ)上,對提取潛在未知樣本的二元交叉熵?fù)p失函數(shù)進行了改進。并提出用基于距離的對稱Kullback-Leibler損失函數(shù)來代替二元交叉熵?fù)p失函數(shù)。在Office-31數(shù)據(jù)庫上的實驗表明:改進的OSDA-BP方法能有效提升性能。（... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

全連接神經(jīng)網(wǎng)絡(luò)

是共享的，可以進一步降低參數(shù)量，縮短網(wǎng)絡(luò)訓(xùn)練時間。一般用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)包括以下幾種基本操作運算層:一、圖片輸入層，一般指輸入圖像為四維像素矩陣（batchsizeheightwidthchannel），當(dāng)輸入圖像是灰度圖像時，通道數(shù)為1，當(dāng)輸入圖像是彩色圖像時，通道數(shù)為3。在該層時，一般會對圖像進行一些裁剪、縮放、增強、歸一化等操作；二、卷積層，特征提取器的主要部分，保持圖像原有空間結(jié)構(gòu)信息不變的情況下，將輸入圖像矩陣或是前一層特征圖矩陣經(jīng)過卷積層中多組卷積核的卷積運算轉(zhuǎn)化為下一層作為輸入的特征矩陣，如圖2.2所示，圖中的卷積核的尺寸大小為，數(shù)字3就是左上角像素矩陣和卷積核對應(yīng)相乘再相加得到的；池化降采樣層，主要有平均池化和最大池化兩種形式，具體如圖2.2右半部分所示。pooling層主要有以下三個圖2.2卷積和池化操作示意圖優(yōu)點:一、增強了CNN對平移、旋轉(zhuǎn)、縮放等圖像變換的魯棒性；二、當(dāng)輸入的圖像尺寸更大時，能夠有效降低中間特征圖的尺寸大小，進一步降低網(wǎng)絡(luò)參數(shù)量。構(gòu)建更高層的網(wǎng)絡(luò)以學(xué)習(xí)圖像更高層的結(jié)構(gòu)特征；三、有效防止過擬合現(xiàn)象的產(chǎn)生（過擬合現(xiàn)象：訓(xùn)練集的準(zhǔn)確率上升，而測試集的準(zhǔn)確率反而下降，說明過度擬合了訓(xùn)練集中的無關(guān)細節(jié)）；四、全連接×××3×33×3

砘?窬??紓篖eNet-5網(wǎng)絡(luò)模型，被YannLeCun[22]等人于1998年提出，此項舉措正式拉開了深度學(xué)習(xí)發(fā)展的序幕，網(wǎng)絡(luò)模型如圖2.3所示，卷積層、池化層交替排布，后接全連接層的網(wǎng)絡(luò)結(jié)構(gòu)形式在卷積神經(jīng)網(wǎng)絡(luò)以后提出的網(wǎng)絡(luò)中占據(jù)主導(dǎo)地位。LeNet-5的輸入為32×32尺寸大小的MNIST數(shù)據(jù)集，經(jīng)過兩次卷積、池化運算得到16通道的5×5的特征圖，即所在位置。完成卷積運算后，再將16×5×5的特征矩陣展成一維矢量，輸入到后續(xù)的3個全連接層中，最后經(jīng)過Softmax層得到預(yù)測為數(shù)字0~9的概率值，并取概率最大的數(shù)字作為CNN最終的判別類別。圖2.3LeNet-5網(wǎng)絡(luò)模型2012年是卷積神經(jīng)網(wǎng)絡(luò)發(fā)展史上具有里程碑紀(jì)念意義的一年，AlexKrizhevsky提出了AlexNet神經(jīng)網(wǎng)絡(luò)模型[2]，如圖2.4所示，并用它們贏得了當(dāng)年的ImageNet[23]大規(guī)模視覺識別挑戰(zhàn)賽（ImageNetLargeScaleVisualRecognitionCompetition，ILSVRC）的冠軍，把分類錯誤率從26％降到15％，從那以后，許多公司的技術(shù)發(fā)展重心不斷向深度學(xué)習(xí)遷移。如Facebook的自動標(biāo)記，谷歌的照片搜索，亞馬遜的產(chǎn)品推薦等等。AlexNet的提出在LeNet-5之后，是在Dropout、relu激活函數(shù)、GPU大數(shù)據(jù)的發(fā)展下提出來的，共有8層帶有學(xué)習(xí)參數(shù)得網(wǎng)絡(luò)層，5層卷積層，3層全連接層。實現(xiàn)了網(wǎng)絡(luò)的進一步加深，要處理的數(shù)據(jù)集也從MNIST手寫體數(shù)據(jù)集變?yōu)镮mageNet百萬級數(shù)據(jù)集。ImageNet的圖像尺寸為256×256，AlexNet采用了平移、縮放、水平翻轉(zhuǎn)等方式來進行數(shù)據(jù)增強，處理后的圖像尺寸為224×224。為緩解梯度消失問題，加快網(wǎng)絡(luò)收斂，AlexNet采用ReLU作為激活函數(shù)并利用兩個GPU來并行訓(xùn)練網(wǎng)絡(luò)。同時，AlexNet網(wǎng)絡(luò)模型在前兩個全連接層中S4<latexitsha1_base64="8eXj1raIe+IEBljVJUdfNpmf5Es=">AAACxXicjVHLTsJAFD3UF+ILdemmkZiwIgVJdEniQpf4QEiQ


本文編號：3213115