基于神經(jīng)網(wǎng)絡(luò)和3D視覺的果園蘋果識別與定位的研究
發(fā)布時間:2020-03-29 11:00
【摘要】:我國在果蔬種植方面具有很強的競爭力,但根據(jù)中國果業(yè)的發(fā)展特點和趨勢,仍有一些亟待解決的問題,其中,水果采摘是整個行業(yè)中耗時最長,資金投入最多的步驟之一。目前中國的采摘工藝大部分是由人力資源完成的,然而隨著人口老齡化和生產(chǎn)成本增加等問題的產(chǎn)生,迫切需要將基于人工智能的自動化技術(shù)廣泛引入到果蔬采摘中。本論文對于采摘過程中果園蘋果的識別和定位兩個核心步驟進行了深入研究,完成的主要工作及得出的結(jié)論如下:(1)利用基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測網(wǎng)絡(luò)進行蘋果的識別。深入研究了 SSD(Single Shot Multibox Detector)算法原理,指出由于分類任務(wù)和定位任務(wù)的側(cè)重點不同,所需要的特征性質(zhì)也是不同的。針對這個問題,本文對SSD的網(wǎng)絡(luò)結(jié)構(gòu)進行改進,提出了 FSF-SSD(Feature-separate-fuse SSD)算法,在一定程度上將類別預(yù)測和位置預(yù)測兩個任務(wù)分離,并對位置預(yù)測任務(wù)的特征圖采用特征融合操作,結(jié)合上層語義信息和低層外觀特征,使其獲得更多的定位與細(xì)節(jié)信息。(2)利用雙目立體視覺理論,在識別蘋果的基礎(chǔ)上定位其空間位置。論文在深入研究3D視覺理論基礎(chǔ)上,設(shè)計一種與FSF-SSD算法相結(jié)合的立體匹配算法。算法依次計算待匹配圖像中回歸框與參照圖像中各個回歸框的IoU(Intersection over Union,交并比),得到在參照圖像中與待匹配圖像IoU最大的回歸框序號,若兩次得到的最大IoU回歸框的序號相同,則匹配成功。在成功匹配的基礎(chǔ)上利用視差法進行了蘋果的定位并得到蘋果中心點的三維坐標(biāo),從而為機械臂的抓取提供數(shù)據(jù)支持。(3)基于以上研究,本文進行了實驗驗證。對于果園蘋果的識別,FSF-SSD算法的平均檢測精度為95.25%,在SSD基礎(chǔ)上提升了 2.31%。為了證明模型的遷移能力,本文還在Pascal VOC 2007公開數(shù)據(jù)集進行了驗證,平均檢測精度為74.92%,在SSD基礎(chǔ)上提升了 1.03%。對于蘋果定位環(huán)節(jié),本文首先進行了匹配算法的驗證工作,分析實驗結(jié)果可以得出,對于遮擋較少的密集場景的匹配準(zhǔn)確率達(dá)到97.8%,對于有部分遮擋的場景匹配準(zhǔn)確率達(dá)到96.8%。最后在成功匹配的基礎(chǔ)上進行視差法定位實驗,分析實驗結(jié)果可以得出,基于中心點坐標(biāo)匹配的視差定位法精度可以滿足機械臂的誤差要求。至此,對果園蘋果完成了精確識別、立體匹配和空間定位,這一全新的采摘方案為機械臂抓取提供了算法基礎(chǔ)和數(shù)據(jù)支持,應(yīng)用前景十分廣闊。
【圖文】:
進而在模式識別和圖像分類領(lǐng)域應(yīng)用十分廣泛。逡逑一個卷積神經(jīng)網(wǎng)絡(luò)最簡單結(jié)構(gòu)包括輸入層、隱藏層和輸出層,其中隱逡逑藏層由卷積層和池化層組合而成,結(jié)構(gòu)如圖2-1所示。yL經(jīng)網(wǎng)絡(luò)的上一層逡逑神經(jīng)元通過激活函數(shù)作用,映射到下一層神經(jīng)元,每個神經(jīng)元之間有相對逡逑應(yīng)的權(quán)值,輸出即為分類類別。逡逑"^1邐邐——[mi邐邐W邐i邐逡逑人__^積__,1邋__^化__^積一_,J__^化??????邋__J逡逑目巨邐幽邐巨巨幽邐問邐^接逡逑^1邐1^1邋ml邋1^1邐\^\邋\m邋\m\邐-邐層逡逑?逡逑<—反向傳播—?前向傳播逡逑圖2-1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖逡逑Fig.2-1邋Structural邋schematic邋diagram邋of邋CNN逡逑2.1.2隱藏層逡逑卷積層和池化層的疊加組合,構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的隱藏層。逡逑卷積層是卷積神經(jīng)網(wǎng)絡(luò)CNN的核心層之一,它的作用是用來提取圖像逡逑特征,淺層卷積會提取到較為淺顯的特征,如外觀、線條和角度,隨著卷逡逑積層數(shù)的增加,不斷迭代之前提取到的特征,從而使深層卷積的特征更加逡逑抽象和復(fù)雜。卷積層中最重要的部分是卷積核參數(shù)
常見的激活函數(shù)如下:逡逑(1)邋sigmoid函數(shù)。sigmoid函數(shù)的作用是把輸入的連續(xù)值變換為0和逡逑1之間的輸出,如圖2-2所示。Sigmoid函數(shù)雖然能起到激活作用,但過多逡逑的網(wǎng)絡(luò)層數(shù)易導(dǎo)致梯度爆炸甚至梯度消失。也正是由于這個原因,近年來,,逡逑sigmoid的使用率越來越低,逐漸被其他性能更優(yōu)異的激活函數(shù)代替。逡逑f(^)邋=邐n邋n逡逑1-he邐(1-1)逡逑sigmoid逡逑邐邐邐邋fo邋?邐邐邐逡逑—Activation逡逑—Gradient逡逑-5-4-3-2-1012345逡逑圖2-2邋sigmoid函數(shù)及其函數(shù)梯度逡逑Fig.2-2邋Sigmoid邋function邋and邋its邋gradient逡逑7逡逑
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP391.41;TP183;S225.93
本文編號:2605875
【圖文】:
進而在模式識別和圖像分類領(lǐng)域應(yīng)用十分廣泛。逡逑一個卷積神經(jīng)網(wǎng)絡(luò)最簡單結(jié)構(gòu)包括輸入層、隱藏層和輸出層,其中隱逡逑藏層由卷積層和池化層組合而成,結(jié)構(gòu)如圖2-1所示。yL經(jīng)網(wǎng)絡(luò)的上一層逡逑神經(jīng)元通過激活函數(shù)作用,映射到下一層神經(jīng)元,每個神經(jīng)元之間有相對逡逑應(yīng)的權(quán)值,輸出即為分類類別。逡逑"^1邐邐——[mi邐邐W邐i邐逡逑人__^積__,1邋__^化__^積一_,J__^化??????邋__J逡逑目巨邐幽邐巨巨幽邐問邐^接逡逑^1邐1^1邋ml邋1^1邐\^\邋\m邋\m\邐-邐層逡逑?逡逑<—反向傳播—?前向傳播逡逑圖2-1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖逡逑Fig.2-1邋Structural邋schematic邋diagram邋of邋CNN逡逑2.1.2隱藏層逡逑卷積層和池化層的疊加組合,構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的隱藏層。逡逑卷積層是卷積神經(jīng)網(wǎng)絡(luò)CNN的核心層之一,它的作用是用來提取圖像逡逑特征,淺層卷積會提取到較為淺顯的特征,如外觀、線條和角度,隨著卷逡逑積層數(shù)的增加,不斷迭代之前提取到的特征,從而使深層卷積的特征更加逡逑抽象和復(fù)雜。卷積層中最重要的部分是卷積核參數(shù)
常見的激活函數(shù)如下:逡逑(1)邋sigmoid函數(shù)。sigmoid函數(shù)的作用是把輸入的連續(xù)值變換為0和逡逑1之間的輸出,如圖2-2所示。Sigmoid函數(shù)雖然能起到激活作用,但過多逡逑的網(wǎng)絡(luò)層數(shù)易導(dǎo)致梯度爆炸甚至梯度消失。也正是由于這個原因,近年來,,逡逑sigmoid的使用率越來越低,逐漸被其他性能更優(yōu)異的激活函數(shù)代替。逡逑f(^)邋=邐n邋n逡逑1-he邐(1-1)逡逑sigmoid逡逑邐邐邐邋fo邋?邐邐邐逡逑—Activation逡逑—Gradient逡逑-5-4-3-2-1012345逡逑圖2-2邋sigmoid函數(shù)及其函數(shù)梯度逡逑Fig.2-2邋Sigmoid邋function邋and邋its邋gradient逡逑7逡逑
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP391.41;TP183;S225.93
【參考文獻】
相關(guān)期刊論文 前9條
1 王糧局;張立博;段運紅;張鐵中;;基于視覺伺服的草莓采摘機器人果實定位方法[J];農(nóng)業(yè)工程學(xué)報;2015年22期
2 尹寶才;王文通;王立春;;深度學(xué)習(xí)研究綜述[J];北京工業(yè)大學(xué)學(xué)報;2015年01期
3 申海洋;李月娥;張?zhí)?;基于邊緣方向直方圖相關(guān)性匹配的圖像檢索[J];計算機應(yīng)用;2013年07期
4 盧軍;王賢鋒;后德家;;水果采摘機器人視覺系統(tǒng)研究進展[J];湖北農(nóng)業(yè)科學(xué);2012年21期
5 孔軍;湯心溢;蔣敏;;多尺度特征提取的雙目視覺匹配[J];計算機工程與應(yīng)用;2010年33期
6 白明;莊嚴(yán);王偉;;雙目立體匹配算法的研究與進展[J];控制與決策;2008年07期
7 趙萬金;龔聲蓉;劉純平;沈項軍;;一種自適應(yīng)的Harris角點檢測算法[J];計算機工程;2008年10期
8 丁謹(jǐn);王新;;基于雙目計算機視覺的自適應(yīng)識別算法及其監(jiān)控應(yīng)用[J];中國圖象圖形學(xué)報;2006年11期
9 陳棣湘,羅飛路,潘孟春;立體視覺測量中的圖像匹配策略研究[J];光學(xué)技術(shù);2002年05期
本文編號:2605875
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/2605875.html
最近更新
教材專著