語義分割是計算機視覺領(lǐng)域一個非�；钴S的研究方向,它在視頻監(jiān)控、場景分析、人機交互以及行為分析等方面有著巨大的應(yīng)用潛力。目前,語義分割的主流實現(xiàn)方式是采用卷積神經(jīng)網(wǎng)絡(luò)來搭建模型,并通過使用人工標(biāo)注的數(shù)據(jù)集對模型進行訓(xùn)練來得到語義分割模型。而現(xiàn)目前的語義分割模型往往為追求高分割精度而導(dǎo)致模型復(fù)雜且運行時間長,難以用于許多對運行速度要求高的場景。因此,本文就兼具精度與速度的高效語義分割方法進行了研究,主要包括:第一,對FCN、U-Net和DeepLabv3+模型進行了研究,比較了三者在公開數(shù)據(jù)及Cityscapes上的表現(xiàn),分析了三者特征融合的方式。從而針對深度學(xué)習(xí)模型易出現(xiàn)的特征冗余問題,提出了一種改進的U-Net語義分割模型,該網(wǎng)絡(luò)相比于原始U-Net融合了更少的特征,且使用的參數(shù)更少,也在數(shù)據(jù)集上獲得了更高的分割精度。第二,通過對目標(biāo)檢測模型和圖像識別模型的任務(wù)特性的分析,本文提出了一種基于目標(biāo)檢測遷移學(xué)習(xí)的高效語義分割方法。該方法利用YOLOv3目標(biāo)檢測模型進行遷移學(xué)習(xí),針對訓(xùn)練樣本的非均衡性進行損失函數(shù)設(shè)計,使用多類型卷積模塊對高層特征進行提取來獲得更加有效的特征和更加快速的速度。實驗結(jié)果表明,該方法在確保高分割精度的同時,能夠有效地提升分割效率。在公開測試集Cityscapes上,該方法達到了0.171s每幀的運行速度以及79.1%平均交并的分割精度。且實驗結(jié)果表明相比于從圖像識別進行遷移學(xué)習(xí)的模型,該模型能夠取得更好的分割效果。進一步地,為了緩解由樣本有偏性帶來的模型泛化能力差,本文提出了使用風(fēng)格遷移的方法,對目標(biāo)圖像向訓(xùn)練圖像進行風(fēng)格遷移再進行分割。實驗結(jié)果表明,該方法相比于使用原始圖像進行分割獲得了5%的精度提升。第三,從更加有效地提取與利用特征的角度出發(fā),本文提出了一種基于多層次卷積模塊的快速語義分割方法。該方法將三種不同的卷積核以不同的層次進行組合,并將它們所提取的特征進行融合,從而實現(xiàn)了使用較少模型參數(shù)的情況下獲得更加有效的特征。實驗結(jié)果表明,該方法具有較快的運行速度且同時有著較高的分割精度。在公開測試集Cityscapes上,該方法達到了0.052s每幀的運行速度以及75.2%平均交并比的分割精度。同時,本文將該模型用于人體分割,并提出使用多數(shù)據(jù)集聯(lián)合訓(xùn)練的方式來緩解訓(xùn)練樣本的有偏性從而提升模型的魯棒性。實驗結(jié)果表明,本文的人體分割模型能夠有效地應(yīng)用到各種場景之中。第四,本文對提出的兩個語義分割模型在嵌入式平臺Xavier上進行了實現(xiàn),并進行了基于語義分割的人臉風(fēng)格遷移應(yīng)用的實驗測試與驗證。測試結(jié)果表明,本文提出的基于多層次卷積模塊的語義分割模型能夠在嵌入式平臺實時運行。且應(yīng)用實驗結(jié)果顯示,本文的模型在Xavier平臺能夠以0.172s每幀的速度完成對640×360×3大小圖像的分割與人臉風(fēng)格遷移。綜上,本文針對基于卷積神經(jīng)網(wǎng)絡(luò)的高效語義分割方法,從目標(biāo)檢測遷移學(xué)習(xí)、緩解訓(xùn)練樣本非均衡的損失函數(shù)設(shè)計、多類型高層特征的提取、多層次卷積模塊的利用以及嵌入式平臺的實現(xiàn)等角度進行了深入研究,提出了高效的語義分割模型。實驗結(jié)果證明,本文所提出的方法在確保分割精度的同時能夠有效提高分割效率,具備了實際應(yīng)用的能力。
【學(xué)位單位】：中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所)
【學(xué)位級別】：博士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TP183
【部分圖文】：

第 1 章 緒論的環(huán)境信息，分割的結(jié)果不僅具有各目標(biāo)在圖像中的位置信息，同時還有各個目標(biāo)的類別以及姿態(tài)信息。這些信息能夠有效地輔助其它計算機視覺的應(yīng)用任務(wù)，比如自動駕駛、人機交互以及場景變換。隨著監(jiān)控和智能手機的普及，語義分割的應(yīng)用量也逐步增大。比如監(jiān)控中，可以通過語義分割來智能判別車輛所在區(qū)域是否屬于應(yīng)急車道或者非機動車道，從而減少人工判定的工作量。而在智能手機中，語義分割則有著非常成熟的應(yīng)用�，F(xiàn)目前手機拍照功能中的人像優(yōu)化以及背景虛化，都是通過語義分割提取出相關(guān)區(qū)域后再進行后處理。

往往是通過自頂向下的方式實現(xiàn)。語義分割的最終目標(biāo)就是通過自頂向下的方式得到一個模入圖像中的每個像素準(zhǔn)確預(yù)測出一個具有語義的標(biāo)簽，其流程其中預(yù)測標(biāo)簽中的每一種顏色對應(yīng)一個類別的目標(biāo)。模型輸入圖像

我們會在卷積的過程中盡量保持輸出的特征寬高大小和輸入特征一致，所以我們往往會在輸入特征的邊框上補 0，補 0 的方法則按照卷積后寬高大小不變的原則來進行。比如圖2.3中，這里使用的卷積核寬高為3 × 3，輸入寬高為7 × 7，那么為了得到同樣寬高為7 × 7的輸出，我們則會在輸入特征的周邊補上一圈 0，使得輸入特征的寬高變?yōu)? × 9，這樣便能得到寬高為7 × 7的輸出。圖 2.3 二維卷積示意圖Figure 2.3 The sketch of 2 dimensional convolution1 3 1 2 4 2 23 3 4 2 1 1 10 2 0 0 2 4 42 1 0 0 0 2 13 3 3 2 1 1 12 0 1 1 1 4 14 0 0 3
【相似文獻】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點預(yù)測法[J];金融經(jīng)濟;2017年18期

2 鮑偉強;陳娟;熊濤;;基于進化神經(jīng)網(wǎng)絡(luò)的短期電力負荷預(yù)測研究[J];電工技術(shù);2019年11期

3 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

4 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會述評[J];國際學(xué)術(shù)動態(tài);1996年01期

5 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識別[J];通訊世界;2018年12期

6 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

7 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

8 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)博士學(xué)位論文 前10條

1 陳冬冬;基于深度神經(jīng)網(wǎng)絡(luò)的視覺媒體風(fēng)格轉(zhuǎn)換方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

2 韓旭;基于神經(jīng)網(wǎng)絡(luò)的文本特征表示關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

3 楊國花;基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的對話狀態(tài)追蹤技術(shù)研究與實現(xiàn)[D];北京郵電大學(xué);2019年

4 楊威;基于卷積神經(jīng)網(wǎng)絡(luò)的高效語義分割方法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所);2019年

5 雷學(xué)文;基于深度神經(jīng)網(wǎng)絡(luò)的風(fēng)功率日前預(yù)測與電力系統(tǒng)聯(lián)合調(diào)度研究[D];西安理工大學(xué);2018年

6 陳川;憶阻神經(jīng)網(wǎng)絡(luò)的同步控制及在信息安全中的應(yīng)用研究[D];北京郵電大學(xué);2019年

7 劉梅;網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定和同步行為研究[D];新疆大學(xué);2017年

8 靳然;基于神經(jīng)網(wǎng)絡(luò)和支持向量機的麥蚜發(fā)生動態(tài)預(yù)測研究[D];山西農(nóng)業(yè)大學(xué);2017年

9 李驍;基于深度卷積神經(jīng)網(wǎng)絡(luò)MSCT對小腎腫瘤病理分型的預(yù)測研究[D];中國人民解放軍海軍軍醫(yī)大學(xué);2018年

10 李若霞;基于憶阻的神經(jīng)網(wǎng)絡(luò)的動力學(xué)分析及應(yīng)用[D];東南大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 權(quán)峻;太陽能溫室建模及智能控制策略研究[D];天津理工大學(xué);2019年

2 鐘文雅;基于深度卷積神經(jīng)網(wǎng)絡(luò)的乳腺X線圖像的分類方法研究[D];南陽師范學(xué)院;2019年

3 薛花;基于聚類與神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾推薦系統(tǒng)關(guān)鍵技術(shù)的研究[D];天津理工大學(xué);2019年

4 張璐;基于深度學(xué)習(xí)的淋巴結(jié)自動分割算法研究[D];浙江大學(xué);2019年

5 郭盼盼;基于GA-BP神經(jīng)網(wǎng)絡(luò)的多日股票價格預(yù)測[D];鄭州大學(xué);2019年

6 王旭東;基于光散射的磷礦磨礦粒度分析方法研究[D];武漢工程大學(xué);2018年

7 熊雨點;基于深度學(xué)習(xí)的表單識別系統(tǒng)的研究與實現(xiàn)[D];武漢工程大學(xué);2018年

8 聶若瑩;基于AMDAR數(shù)據(jù)的對流云附近顛簸區(qū)預(yù)測方法研究[D];中國民用航空飛行學(xué)院;2019年

9 李高玲;基于神經(jīng)網(wǎng)絡(luò)的算法作曲與情感識別研究[D];鄭州大學(xué);2019年

10 路高飛;基于遺傳算法改進BP神經(jīng)網(wǎng)絡(luò)的信用風(fēng)險研究[D];鄭州大學(xué);2019年

本文編號：2844764