【摘要】：蘋果是我國(guó)大規(guī)模種植的農(nóng)產(chǎn)品之一,是農(nóng)業(yè)經(jīng)濟(jì)發(fā)展的重要支柱。但是,目前蘋果的采摘作業(yè)主要依靠勞動(dòng)力來(lái)完成,其勞動(dòng)強(qiáng)度大、生產(chǎn)成本高、生產(chǎn)率低。因此,研究智能化水平較高的蘋果采摘機(jī)器人代替人工采摘具有重要的意義。本文主要針對(duì)田間環(huán)境下墻型種植模式的爵士蘋果,使用Kinect相機(jī)獲取對(duì)齊的彩色圖像、深度圖像和點(diǎn)云數(shù)據(jù)。首先基于常用的兩種卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始彩色蘋果圖像進(jìn)行果實(shí)檢測(cè)方法的研究,但枝干遮擋的果實(shí)易被分成幾個(gè)獨(dú)立的部分,可能導(dǎo)致一個(gè)果實(shí)被誤檢測(cè)為幾個(gè)果實(shí),且不能確定果實(shí)遮擋的果實(shí)采摘順序,需對(duì)果實(shí)再進(jìn)行多分類標(biāo)記;然后為進(jìn)一步提高檢測(cè)精度,針對(duì)墻型種植模式下的蘋果圖像背景復(fù)雜的缺點(diǎn),利用深度圖像去除復(fù)雜背景,再以結(jié)果較優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行去背景后的蘋果圖像檢測(cè);最后基于點(diǎn)云數(shù)據(jù)進(jìn)行蘋果果實(shí)定位方法的研究。本文主要研究?jī)?nèi)容具體如下:(1)基于原始彩色蘋果圖像檢測(cè)研究。首先使用幾何變換和圖像增強(qiáng)的方法對(duì)采集到的圖像進(jìn)行數(shù)據(jù)增廣;然后分別進(jìn)行果實(shí)標(biāo)記和果實(shí)多分類標(biāo)記,對(duì)數(shù)據(jù)增廣的樣本進(jìn)行標(biāo)記文件映射;最后采用基于Faster-RCNN原理的VGG16和ZF網(wǎng)絡(luò)模型進(jìn)行圖像的訓(xùn)練和檢測(cè)。實(shí)驗(yàn)結(jié)果表明:VGG16網(wǎng)絡(luò)模型平均檢測(cè)精度較高,在果實(shí)檢測(cè)模型中,果實(shí)AP值為88.12%,檢測(cè)時(shí)間為0.182s/幅;在果實(shí)多分類檢測(cè)模型中,單個(gè)無(wú)遮擋的果實(shí)AP值為90.90%,樹葉遮擋的果實(shí)AP值為89.94%,枝干遮擋的果實(shí)AP值為85.82%,果實(shí)遮擋的果實(shí)AP值為84.82%,mAP值為87.87%,檢測(cè)時(shí)間為0.241s/幅。(2)基于去背景彩色蘋果圖像檢測(cè)研究。首先找出深度圖像中深度值超過200 cm的像素點(diǎn);然后將同分辨率的彩色圖像中對(duì)應(yīng)像素點(diǎn)的值置0,并進(jìn)行圖像數(shù)據(jù)增廣和相應(yīng)的標(biāo)記文件映射;最后使用遷移原始圖像最佳檢測(cè)模型參數(shù)的方法對(duì)新的VGG16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和檢測(cè)。實(shí)驗(yàn)結(jié)果表明:在果實(shí)檢測(cè)模型中,果實(shí)AP值為89.32%,比原始圖像檢測(cè)值提高了 1.2%,檢測(cè)時(shí)間為0.181s/幅;在果實(shí)多分類檢測(cè)模型中,單個(gè)無(wú)遮擋的果實(shí)AP值為91.12%,樹葉遮擋的果實(shí)AP值為90.25%,枝干遮擋的果實(shí)AP值為87.34%,果實(shí)遮擋的果實(shí)AP值為86.48%,mAP值為88.80%,分別比原始圖像檢測(cè)值提高了0.22%、0.31%、1.52%、1.66%和0.93%,檢測(cè)時(shí)間為0.240s/幅。(3)蘋果果實(shí)的三維空間定位研究。首先使用MATLAB編程獲取去除背景后的蘋果邊界框的左上角和右下角兩個(gè)像素點(diǎn)坐標(biāo),再計(jì)算其平均值作為中心像素點(diǎn)坐標(biāo),并依次獲取中心像素點(diǎn)的上、下、左、右、左上、左下、右上、右下8個(gè)領(lǐng)域像素點(diǎn)坐標(biāo);然后分別使用直通濾波、統(tǒng)計(jì)濾波和雙邊濾波的方法對(duì)點(diǎn)云進(jìn)行背景去除、離群點(diǎn)去除和內(nèi)部高頻噪聲去除;最后提取這9個(gè)像素點(diǎn)的三維空間坐標(biāo)值,計(jì)算其平均值作為蘋果果實(shí)最終抓取點(diǎn)的三位空間坐標(biāo)。通過基于Faster-RCNN原理的VGG16和ZF網(wǎng)絡(luò)模型對(duì)原始彩色蘋果圖像分別進(jìn)行果實(shí)檢測(cè)和果實(shí)多分類檢測(cè),VGG16網(wǎng)絡(luò)模型相比于ZF網(wǎng)絡(luò)模型對(duì)田間環(huán)境下蘋果均有較好的檢測(cè)效果;然后對(duì)原始彩色蘋果圖像進(jìn)行復(fù)雜背景去除,進(jìn)一步提高了檢測(cè)精度;最后從去噪后的點(diǎn)云數(shù)據(jù)中獲取了果實(shí)的三維空間坐標(biāo)并確定了果實(shí)的采摘順序。本文為蘋果采摘機(jī)器人的目標(biāo)檢測(cè)與定位提供了一些方法,取得了一些可供參考的結(jié)論。
【圖文】：

逡逑相比傳統(tǒng)種植模式下的蘋果矮化冠狀樹形，爵士蘋果的樹形為墻型，如圖１－１所示。逡逑多數(shù)蘋果果實(shí)位于果樹兩側(cè)，枝條遮擋較少，使得采摘機(jī)械手可以直接到達(dá)需要采摘的逡逑目標(biāo)果實(shí)前，，避免了枝條阻礙采摘路線，非常有利于機(jī)械化采摘。因此，在標(biāo)準(zhǔn)化的蘋逡逑果種植模式下，有望實(shí)現(xiàn)蘋果的采摘自動(dòng)化作業(yè)，對(duì)提高蘋果采摘工作效率，促進(jìn)蘋果逡逑產(chǎn)業(yè)發(fā)展具有重要的科學(xué)研宄意義。逡逑sE逡逑圖１－１墻型種植蘋果樹逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｔｒｅｅ邋ｐｌａｎｔｅｄ邋ｉｎ邋ｗａｌｌ逡逑在傳統(tǒng)的果實(shí)檢測(cè)方法中，生要針對(duì)果實(shí)的顏色、紋理和形狀進(jìn)行檢測(cè)，但檢測(cè)過逡逑程較為復(fù)雜，近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)已成為機(jī)器學(xué)習(xí)研宄中逡逑的＾個(gè)新的領(lǐng)域。通過建立和模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機(jī)制來(lái)解逡逑釋數(shù)據(jù)，已在圖像、聲音和文本等領(lǐng)域發(fā)揮了巨大的作用。卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎ逡逑Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋ

圖２－１邋Ｆａｓｔｅｒ－ＲＣＮＮ網(wǎng)絡(luò)結(jié)構(gòu)示意圖逡逑Ｆｉｇ．邋２－１邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋Ｆａｓｔｅｒ－ＲＣＮＮ邋ｎｅｔｗｏｒｋ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑ＲＰＮ部分網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖２－２所示。每個(gè)滑動(dòng)窗；Ｐ位置被映射為一個(gè)低維的特逡逑征向量，低維是相對(duì)于特征圖大�。鳎璧模渲�，ＺＦ網(wǎng)絡(luò)中為２５６維，ＶＧＧ１６網(wǎng)絡(luò)為逡逑５１２維。之后，特征向復(fù)輸入到ｒｅｇ邊框回歸網(wǎng)絡(luò)和ｄｓ邊框分類網(wǎng)絡(luò)兩個(gè)子網(wǎng)絡(luò)中，分逡逑別對(duì)區(qū)域建議生成的邊界框進(jìn)行位置精修和對(duì)每個(gè)ａｎｃｈｏｒ是否屬于目標(biāo)或背景進(jìn)行打逡逑分，所以會(huì)有ｗｘｈｘ９個(gè)結(jié)果。逡逑２ｋ邋ｓｃｏｒｅｓ邐４々邋ｃｏｏｒｄｉｎａｔｅｓ邐＾邋ａｎｃｈｏｒ邋ｂｏｘｅｓ逡逑ｅｌｓ邋ｌａｙｅｒ邐舍邋ｒｅｇ邋ｌａｙｅｒ邐ｂ逡逑２５６－ｄ邐■逡逑ｔ邋ｉｎｔｅｒｍｅｄｉａｔｅ邋ｌａｙｅｒ逡逑＼＾＾二二．Ｆ逡逑＼邐＼邐＼邐Ｖ邋＼邐邋邋？逡逑？逡逑Ｃｏｎｖ邋ｆｅａｔｕｒｅ邋ｍａｐ邐？逡逑圖２－２邋ＲＰＮ網(wǎng)絡(luò)結(jié)構(gòu)示意圖逡逑Ｆｉｇ．邋２－２邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ＲＰＮ邋ｎｅｔｗｏｒｋ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑２．１．２網(wǎng)絡(luò)模型訓(xùn)練方法逡逑ＲＰＮ網(wǎng)絡(luò)和Ｆａｓｔ－ＲＣＮＮ網(wǎng)絡(luò)共享了一個(gè)提取特征的ＶＧＧ１６或ＺＦ網(wǎng)絡(luò)，為了精調(diào)逡逑這個(gè)網(wǎng)絡(luò)模型
【學(xué)位授予單位】：西北農(nóng)林科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：S661.1;TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王田利;;2019年蘋果產(chǎn)銷形勢(shì)分析與建議[J];西北園藝(果樹);2019年02期

2 閆海濤;;矮砧蘋果引領(lǐng)千陽(yáng)走向致富路[J];西部大開發(fā);2018年07期

3 王秋萍;;山西·吉縣推廣蘋果園無(wú)人機(jī)作業(yè)[J];中國(guó)果業(yè)信息;2017年05期

4 潘換來(lái);潘小剛;范婷;;蘋果花臉病的發(fā)生與防治技術(shù)[J];果農(nóng)之友;2017年01期

5 張敬惠;;如何采蘋果花蜜[J];中國(guó)蜂業(yè);2016年03期

6 王大為;;《蘋果花》[J];人民公交;2015年02期

7 曹文生;;蘋果謠[J];當(dāng)代人;2016年09期

8 童子;;尺蠖,尺蠖,開起火車[J];少年文藝(上旬版);2016年12期

9 干露;;語(yǔ)文老師的柔軟心[J];七彩語(yǔ)文(教師論壇);2017年01期

10 成向陽(yáng);;蘋果樹下有人打鐵(外二篇)[J];鴨綠江(上半月版);2017年02期

相關(guān)會(huì)議論文 前10條

1 李紹華;孟昭清;李天紅;柳華志;涂亦澄;;蘋果花誘導(dǎo)時(shí)期研究的新方法[A];中國(guó)園藝學(xué)會(huì)首屆青年學(xué)術(shù)討論會(huì)論文集[C];1994年

2 曹尚銀;張秋明;;蘋果花芽孕育的蛋白質(zhì)組學(xué)及其特異蛋白的研究[A];中國(guó)遺傳學(xué)會(huì)植物遺傳和基因組學(xué)專業(yè)委員會(huì)2007年學(xué)術(shù)研討會(huì)摘要集[C];2007年

3 孟玉平;曹秋芬;張春芬;小森貞男;壽松木章;;γ射線照射蘋果花粉授粉后受精及胚發(fā)育過程的探討[A];2012年園藝植物染色體倍性操作與遺傳改良學(xué)術(shù)研討會(huì)論文摘要集[C];2012年

4 成文博;劉國(guó)成;呂德國(guó);馬懷宇;秦嗣軍;;‘寒富'蘋果花芽的抗寒性研究[A];第四屆全國(guó)果樹種質(zhì)資源研究與開發(fā)利用學(xué)術(shù)研討會(huì)論文匯編[C];2010年

5 曹尚銀;張秋明;;蘋果花芽孕育的蛋白質(zhì)組學(xué)及其特異蛋白的研究[A];2007中國(guó)植物生理學(xué)會(huì)全國(guó)學(xué)術(shù)會(huì)議論文摘要匯編[C];2007年

6 孫智輝;劉志超;雷延鵬;曹雪梅;;基于互聯(lián)網(wǎng)+的蘋果氣象服務(wù)系統(tǒng)的建立[A];第34屆中國(guó)氣象學(xué)會(huì)年會(huì) S11 創(chuàng)新驅(qū)動(dòng)智慧氣象服務(wù)——第七屆氣象服務(wù)發(fā)展論壇論文集[C];2017年

7 曹尚銀;;蘋果花芽孕育的蛋白質(zhì)組學(xué)初步分析[A];中國(guó)遺傳學(xué)會(huì)第八次代表大會(huì)暨學(xué)術(shù)討論會(huì)論文摘要匯編（2004-2008）[C];2008年

8 曹尚銀;湯一卒;張俊昌;;GA_3和PP_(333)對(duì)蘋果花芽形態(tài)建成及其內(nèi)源激素比例變化的影響[A];中國(guó)園藝學(xué)會(huì)第九屆學(xué)術(shù)年會(huì)論文集[C];2001年

9 張乃鑫;李亞新;;偽鈍綏螨Amblyseius fallacis的花粉飼養(yǎng)研究[A];北京昆蟲學(xué)會(huì)成立四十周年學(xué)術(shù)討論會(huì)論文摘要匯編[C];1990年

10 關(guān)軍鋒;許棟芬;郭喜花;張新忠;;IAA對(duì)蘋果花粉萌發(fā)和花粉管生長(zhǎng)的作用及其與Ca~(2+)的關(guān)系[A];中國(guó)科協(xié)第3屆青年學(xué)術(shù)年會(huì)園藝學(xué)衛(wèi)星會(huì)議暨中國(guó)園藝學(xué)會(huì)第2屆青年學(xué)術(shù)討論會(huì)論文集[C];1998年

相關(guān)重要報(bào)紙文章 前10條

1 卯龍艷 孫華超;讓蘋果產(chǎn)業(yè)真正鼓起群眾“錢袋子”[N];畢節(jié)日?qǐng)?bào);2019年

2 本報(bào)記者 王愛榮 通訊員 范筱霞;蘋果花開枝頭俏 人勤春早果業(yè)興[N];延安日?qǐng)?bào);2019年

3 通訊員 楊帆 任健 本報(bào)記者 劉卓;讓蘋果恢復(fù)原有的“味道”[N];延安日?qǐng)?bào);2019年

4 本報(bào)記者 思博海;延安脫貧，蘋果立功![N];延安日?qǐng)?bào);2019年

5 記者 邢云;蘋果花開鳳凰嶺[N];河北日?qǐng)?bào);2019年

6 記者 李晨 通訊員 何文上;蘋果的紅色從哪來(lái)[N];中國(guó)科學(xué)報(bào);2019年

7 李華;蘋果花后不偷懶 噴藥澆水要趁早[N];農(nóng)業(yè)科技報(bào);2019年

8 本報(bào)記者 王愛榮 通訊員 張志林 候芳;蘋果富民 文化養(yǎng)民[N];延安日?qǐng)?bào);2018年

9 河北省農(nóng)科院石家莊果樹所研究員 徐國(guó)良;蘋果樹管理問答[N];河北科技報(bào);2019年

10 本報(bào)記者 楊曉慧;蘋果花開 這里春光美[N];榆林日?qǐng)?bào);2019年

相關(guān)博士學(xué)位論文 前5條

1 王憶;蘋果再生體系建立與MxIrt1基因功能的初步研究[D];中國(guó)農(nóng)業(yè)大學(xué);2005年

2 曹尚銀;蘋果花芽孕育的蛋白質(zhì)組學(xué)及其特異蛋白的研究[D];湖南農(nóng)業(yè)大學(xué);2005年

3 周瑞金;外源CpTI基因在轉(zhuǎn)基因蘋果中的表達(dá)及特性[D];河北農(nóng)業(yè)大學(xué);2007年

4 李潔;晉西黃土果農(nóng)復(fù)合系統(tǒng)蘋果樹耗水特征及影響因素研究[D];北京林業(yè)大學(xué);2008年

5 李威;蘋果花粉MdPPa參與自交不親和性反應(yīng)的分子機(jī)制[D];中國(guó)農(nóng)業(yè)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 潘振邦;甘肅省平?jīng)鍪刑O果產(chǎn)業(yè)發(fā)展對(duì)策研究[D];蘭州大學(xué);2019年

2 宋盼盼;宋堡村的蘋果產(chǎn)業(yè)：一項(xiàng)經(jīng)濟(jì)人類學(xué)的研究[D];蘭州大學(xué);2019年

3 齊思言;蘋果不同開花能力類型芽轉(zhuǎn)錄組、DNA甲基化比較分析及候選MdCDF家族鑒定與表達(dá)分析[D];西北農(nóng)林科技大學(xué);2019年

4 閆婕;轉(zhuǎn)錄組分析兩種樹形對(duì)‘煙富3號(hào)’蘋果成花相關(guān)基因表達(dá)變化的影響[D];西北農(nóng)林科技大學(xué);2019年

5 趙海東;基于Kinect的田間蘋果檢測(cè)與定位方法研究[D];西北農(nóng)林科技大學(xué);2019年

6 方楠;蘋果MdCSP3基因在不同逆境脅迫下的功能分析[D];西北農(nóng)林科技大學(xué);2019年

7 bF國(guó)棟;運(yùn)城市蘋果樹主要病蟲害調(diào)查及生物防控技術(shù)的探索[D];山西農(nóng)業(yè)大學(xué);2017年

8 邱家海;不同鉀肥施用量對(duì)煙臺(tái)富士蘋果品質(zhì)的影響[D];煙臺(tái)大學(xué);2018年

9 韓培汕;河北蘋果主產(chǎn)區(qū)養(yǎng)分資源特征與施肥調(diào)控技術(shù)[D];河北農(nóng)業(yè)大學(xué);2018年

10 石江鵬;蘋果花藥培養(yǎng)再生新種質(zhì)的倍性鑒定及表型多樣性分析[D];山西大學(xué);2018年

本文編號(hào)：2611509