基于機(jī)器視覺(jué)的柑橘采摘目標(biāo)識(shí)別與路徑規(guī)劃算法研究
發(fā)布時(shí)間:2022-02-08 21:09
隨著農(nóng)業(yè)自動(dòng)化的發(fā)展,傳統(tǒng)的人工采摘方式已經(jīng)無(wú)法滿(mǎn)足農(nóng)民對(duì)柑橘一類(lèi)果實(shí)的采摘需求。急切需要一種能夠快速且智能化的果實(shí)采摘設(shè)備來(lái)代替人工進(jìn)行果實(shí)收獲工作。目前國(guó)外對(duì)果實(shí)采摘設(shè)備的研究已經(jīng)取得一定的成果,并投入到實(shí)際的應(yīng)用當(dāng)中,而國(guó)內(nèi)大部分的果實(shí)采摘設(shè)備仍處于試驗(yàn)階段,無(wú)法滿(mǎn)足實(shí)際的生產(chǎn)需求。對(duì)待采摘柑橘的快速檢測(cè)和精確定位,以及采摘路徑規(guī)劃等算法的研究,能夠?yàn)椴烧O(shè)備提供核心理論支持,對(duì)加快設(shè)備的研發(fā)有重要研究意義。本文基于機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)了柑橘采摘的目標(biāo)識(shí)別和路徑規(guī)劃算法。通過(guò)深度相機(jī)采集的柑橘圖像輸入到改進(jìn)的Mask R-CNN算法中進(jìn)行目標(biāo)檢測(cè),再將檢測(cè)結(jié)果轉(zhuǎn)換成世界坐標(biāo)輸入到改進(jìn)的蟻群算法中進(jìn)行柑橘采摘路徑規(guī)劃。主要工作如下:1.應(yīng)用Intel Realsense D435i深度相機(jī)采集柑橘RGB圖像和深度圖的圖像集;谥兄禐V波的方法對(duì)RGB圖像進(jìn)行預(yù)處理,突出果實(shí)與背景的特征差異。應(yīng)用Label Me工具進(jìn)行數(shù)據(jù)集標(biāo)定,并提出一種基于HSV模型的顏色檢測(cè)方法提高數(shù)據(jù)集標(biāo)定的效率和精確度。應(yīng)用圖像處理中圖像旋轉(zhuǎn)的方法對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng),提高數(shù)據(jù)集的多樣性。2.通過(guò)對(duì)Mask R-...
【文章來(lái)源】:廣東工業(yè)大學(xué)廣東省
【文章頁(yè)數(shù)】:74 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
柑橘采摘機(jī)器人示意圖
第二章算法流程與相關(guān)理論基礎(chǔ)7第二章算法流程與相關(guān)理論基礎(chǔ)柑橘采摘機(jī)器人示意圖如圖2-1所示。柑橘采摘機(jī)器人主要由行走裝置、攝像頭、機(jī)械臂和采摘裝置構(gòu)成。柑橘采摘機(jī)器人的采摘過(guò)程分為以下四個(gè)步驟:(1)通過(guò)行走裝置移動(dòng)至柑橘采摘的合適位置。(2)再通過(guò)攝像頭采集柑橘照片,輸入到目標(biāo)檢測(cè)算法中識(shí)別出柑橘并計(jì)算果實(shí)的世界坐標(biāo)。(3)根據(jù)果實(shí)的世界坐標(biāo)分布,由相關(guān)算法進(jìn)行路徑規(guī)劃,并引導(dǎo)機(jī)械臂和采摘裝置按照規(guī)劃的路徑依次移動(dòng)至果實(shí)位置,逐一進(jìn)行采摘。(4)采摘完該區(qū)域的果實(shí)再移動(dòng)至下一采摘位置,繼續(xù)執(zhí)行(1)步驟。圖2-1柑橘采摘機(jī)器人示意圖Figure2-1Schematicdiagramofcitruspickingrobot由于受硬件條件的限制,本課題中,只對(duì)柑橘采摘過(guò)程中涉及的核心算法進(jìn)行研究。如柑橘的目標(biāo)檢測(cè)算法,柑橘的世界坐標(biāo)定位算法,柑橘采摘的路徑規(guī)劃算法。圖2-2算法流程Figure2-2Algorithmflow本課題主要實(shí)現(xiàn)對(duì)柑橘的識(shí)別、定位以及世界坐標(biāo)系下的采摘路徑規(guī)劃,算法
廣東工業(yè)大學(xué)碩士學(xué)位論文10深度范圍為0.1米到10米,適合待采摘柑橘的識(shí)別和定位算法的研究。D435i的實(shí)物圖如圖所示。其中紅外發(fā)射器用于發(fā)射結(jié)構(gòu)光,左、右灰度攝像頭用于采集左、右灰度圖像,RGB攝像頭用于采集RGB圖像。圖2-3IntelRealsenseD435iFigure2-3IntelRealsenseD435i2.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種基于卷積運(yùn)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),最早出現(xiàn)的模型有時(shí)間延遲網(wǎng)絡(luò)和LeNet-5[29]。隨著相關(guān)理論的不斷完善,卷積神經(jīng)網(wǎng)絡(luò)得到了快速發(fā)展,代表性的模型有VGG[30]、GoodLeNet[31]、ResNet[32]等。如圖2-4所示是一種卷積神經(jīng)網(wǎng)絡(luò)的示意圖。網(wǎng)絡(luò)的前幾個(gè)階段是由卷積層和池化層組成,用于對(duì)輸入圖像,例如本課題中的柑橘RGB圖像進(jìn)行采樣和特征提取并輸出特征圖。用激活函數(shù)將每一層特征圖建立非線性連接。最后一層的特征圖與輸出層由全連接層連接,實(shí)現(xiàn)網(wǎng)絡(luò)的最終輸出,如本課題的分類(lèi)任務(wù)中輸出柑橘類(lèi)和背景類(lèi)。圖2-4卷積神經(jīng)網(wǎng)絡(luò)Figure2-4Convolutionalneuralnetwork卷積層用于對(duì)上一層的數(shù)據(jù)進(jìn)行特征提取,承擔(dān)了絕大部分的計(jì)算任務(wù),是卷積神經(jīng)網(wǎng)絡(luò)的核心模塊。池化層是對(duì)特征圖的局部塊進(jìn)行最大池化或平均池化計(jì)算。通過(guò)池化層下采樣操作,能夠降低數(shù)據(jù)的維度并保持?jǐn)?shù)據(jù)的平移不變性,有利于加快網(wǎng)絡(luò)運(yùn)算和減少
【參考文獻(xiàn)】:
期刊論文
[1]基于Mask R-CNN的葡萄葉片實(shí)例分割[J]. 喬虹,馮全,趙兵,王書(shū)志. 林業(yè)機(jī)械與木工設(shè)備. 2019(10)
[2]基于Faster R-CNN模型的低空平臺(tái)偏振高光譜目標(biāo)檢測(cè)[J]. 黃偉,曹宇劍,徐國(guó)明. 紅外技術(shù). 2019(07)
[3]基于Mask RCNN的目標(biāo)識(shí)別與空間定位[J]. 歐攀,路奎,張正,劉澤陽(yáng). 計(jì)算機(jī)測(cè)量與控制. 2019(06)
[4]基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋(píng)果目標(biāo)的識(shí)別[J]. 王丹丹,何東健. 農(nóng)業(yè)工程學(xué)報(bào). 2019(03)
[5]基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋(píng)果定位[J]. 趙德安,吳任迪,劉曉洋,趙宇艷. 農(nóng)業(yè)工程學(xué)報(bào). 2019(03)
[6]基于改進(jìn)特征金字塔的Mask R-CNN目標(biāo)檢測(cè)方法[J]. 任之俊,藺素珍,李大威,王麗芳,左健宏. 激光與光電子學(xué)進(jìn)展. 2019(04)
[7]一種主動(dòng)鑒別未知類(lèi)別指靜脈的識(shí)別系統(tǒng)[J]. 陶志勇,王浩童,王藜諺. 激光與光電子學(xué)進(jìn)展. 2018(12)
[8]基于改進(jìn)勢(shì)場(chǎng)蟻群算法的機(jī)器人路徑規(guī)劃[J]. 王曉燕,楊樂(lè),張宇,孟帥. 控制與決策. 2018(10)
[9]基于粗糙集與遺傳算法的采摘機(jī)器人路徑規(guī)劃[J]. 蔡炯,汪小志. 農(nóng)機(jī)化研究. 2016(08)
[10]基于空間依存的無(wú)參考圖像質(zhì)量評(píng)價(jià)[J]. 張闖,王亞明,陳蘇婷. 光學(xué)精密工程. 2015(11)
本文編號(hào):3615754
【文章來(lái)源】:廣東工業(yè)大學(xué)廣東省
【文章頁(yè)數(shù)】:74 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
柑橘采摘機(jī)器人示意圖
第二章算法流程與相關(guān)理論基礎(chǔ)7第二章算法流程與相關(guān)理論基礎(chǔ)柑橘采摘機(jī)器人示意圖如圖2-1所示。柑橘采摘機(jī)器人主要由行走裝置、攝像頭、機(jī)械臂和采摘裝置構(gòu)成。柑橘采摘機(jī)器人的采摘過(guò)程分為以下四個(gè)步驟:(1)通過(guò)行走裝置移動(dòng)至柑橘采摘的合適位置。(2)再通過(guò)攝像頭采集柑橘照片,輸入到目標(biāo)檢測(cè)算法中識(shí)別出柑橘并計(jì)算果實(shí)的世界坐標(biāo)。(3)根據(jù)果實(shí)的世界坐標(biāo)分布,由相關(guān)算法進(jìn)行路徑規(guī)劃,并引導(dǎo)機(jī)械臂和采摘裝置按照規(guī)劃的路徑依次移動(dòng)至果實(shí)位置,逐一進(jìn)行采摘。(4)采摘完該區(qū)域的果實(shí)再移動(dòng)至下一采摘位置,繼續(xù)執(zhí)行(1)步驟。圖2-1柑橘采摘機(jī)器人示意圖Figure2-1Schematicdiagramofcitruspickingrobot由于受硬件條件的限制,本課題中,只對(duì)柑橘采摘過(guò)程中涉及的核心算法進(jìn)行研究。如柑橘的目標(biāo)檢測(cè)算法,柑橘的世界坐標(biāo)定位算法,柑橘采摘的路徑規(guī)劃算法。圖2-2算法流程Figure2-2Algorithmflow本課題主要實(shí)現(xiàn)對(duì)柑橘的識(shí)別、定位以及世界坐標(biāo)系下的采摘路徑規(guī)劃,算法
廣東工業(yè)大學(xué)碩士學(xué)位論文10深度范圍為0.1米到10米,適合待采摘柑橘的識(shí)別和定位算法的研究。D435i的實(shí)物圖如圖所示。其中紅外發(fā)射器用于發(fā)射結(jié)構(gòu)光,左、右灰度攝像頭用于采集左、右灰度圖像,RGB攝像頭用于采集RGB圖像。圖2-3IntelRealsenseD435iFigure2-3IntelRealsenseD435i2.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種基于卷積運(yùn)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),最早出現(xiàn)的模型有時(shí)間延遲網(wǎng)絡(luò)和LeNet-5[29]。隨著相關(guān)理論的不斷完善,卷積神經(jīng)網(wǎng)絡(luò)得到了快速發(fā)展,代表性的模型有VGG[30]、GoodLeNet[31]、ResNet[32]等。如圖2-4所示是一種卷積神經(jīng)網(wǎng)絡(luò)的示意圖。網(wǎng)絡(luò)的前幾個(gè)階段是由卷積層和池化層組成,用于對(duì)輸入圖像,例如本課題中的柑橘RGB圖像進(jìn)行采樣和特征提取并輸出特征圖。用激活函數(shù)將每一層特征圖建立非線性連接。最后一層的特征圖與輸出層由全連接層連接,實(shí)現(xiàn)網(wǎng)絡(luò)的最終輸出,如本課題的分類(lèi)任務(wù)中輸出柑橘類(lèi)和背景類(lèi)。圖2-4卷積神經(jīng)網(wǎng)絡(luò)Figure2-4Convolutionalneuralnetwork卷積層用于對(duì)上一層的數(shù)據(jù)進(jìn)行特征提取,承擔(dān)了絕大部分的計(jì)算任務(wù),是卷積神經(jīng)網(wǎng)絡(luò)的核心模塊。池化層是對(duì)特征圖的局部塊進(jìn)行最大池化或平均池化計(jì)算。通過(guò)池化層下采樣操作,能夠降低數(shù)據(jù)的維度并保持?jǐn)?shù)據(jù)的平移不變性,有利于加快網(wǎng)絡(luò)運(yùn)算和減少
【參考文獻(xiàn)】:
期刊論文
[1]基于Mask R-CNN的葡萄葉片實(shí)例分割[J]. 喬虹,馮全,趙兵,王書(shū)志. 林業(yè)機(jī)械與木工設(shè)備. 2019(10)
[2]基于Faster R-CNN模型的低空平臺(tái)偏振高光譜目標(biāo)檢測(cè)[J]. 黃偉,曹宇劍,徐國(guó)明. 紅外技術(shù). 2019(07)
[3]基于Mask RCNN的目標(biāo)識(shí)別與空間定位[J]. 歐攀,路奎,張正,劉澤陽(yáng). 計(jì)算機(jī)測(cè)量與控制. 2019(06)
[4]基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋(píng)果目標(biāo)的識(shí)別[J]. 王丹丹,何東健. 農(nóng)業(yè)工程學(xué)報(bào). 2019(03)
[5]基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋(píng)果定位[J]. 趙德安,吳任迪,劉曉洋,趙宇艷. 農(nóng)業(yè)工程學(xué)報(bào). 2019(03)
[6]基于改進(jìn)特征金字塔的Mask R-CNN目標(biāo)檢測(cè)方法[J]. 任之俊,藺素珍,李大威,王麗芳,左健宏. 激光與光電子學(xué)進(jìn)展. 2019(04)
[7]一種主動(dòng)鑒別未知類(lèi)別指靜脈的識(shí)別系統(tǒng)[J]. 陶志勇,王浩童,王藜諺. 激光與光電子學(xué)進(jìn)展. 2018(12)
[8]基于改進(jìn)勢(shì)場(chǎng)蟻群算法的機(jī)器人路徑規(guī)劃[J]. 王曉燕,楊樂(lè),張宇,孟帥. 控制與決策. 2018(10)
[9]基于粗糙集與遺傳算法的采摘機(jī)器人路徑規(guī)劃[J]. 蔡炯,汪小志. 農(nóng)機(jī)化研究. 2016(08)
[10]基于空間依存的無(wú)參考圖像質(zhì)量評(píng)價(jià)[J]. 張闖,王亞明,陳蘇婷. 光學(xué)精密工程. 2015(11)
本文編號(hào):3615754
本文鏈接:http://www.sikaile.net/nykjlw/nygclw/3615754.html
最近更新
教材專(zhuān)著