多功能果蔬采摘機(jī)器人的圖像識(shí)別算法研究
發(fā)布時(shí)間:2021-08-08 01:41
生產(chǎn)過(guò)程的機(jī)械化和智能化是農(nóng)業(yè)發(fā)展的必然趨勢(shì),果蔬采摘作為農(nóng)業(yè)生產(chǎn)中的重要環(huán)節(jié),如何實(shí)現(xiàn)采摘過(guò)程的無(wú)人化和自動(dòng)化是近年來(lái)農(nóng)業(yè)工程領(lǐng)域研究的重要熱點(diǎn)之一。但目前大部分采摘機(jī)器人只能針對(duì)某一種果實(shí)進(jìn)行作業(yè),全年大部分時(shí)間處于閑置狀態(tài),顯著提高了使用成本并且不利于商業(yè)推廣。因此,研究一種能夠進(jìn)行多種果實(shí)采摘作業(yè)的多功能果蔬采摘機(jī)器人具有重要的實(shí)用價(jià)值和商業(yè)前景。視覺(jué)系統(tǒng)作為采摘機(jī)器人的眼睛,是實(shí)現(xiàn)不同果實(shí)識(shí)別與定位的關(guān)鍵。本研究從眾多果蔬品種中選擇在顏色和形狀上具有代表性的蘋果和黃瓜為主要研究對(duì)象,圍繞果實(shí)的圖像識(shí)別算法展開(kāi)研究,并將相關(guān)算法推廣應(yīng)用于其他果蔬品種果實(shí)的識(shí)別和定位上。根據(jù)不同果實(shí)的特點(diǎn),共提出了3種不同的果實(shí)識(shí)別算法,分別是以顏色特征為主、以形狀特征為主和基于DCNN(Deep convolutional neural network,深度卷積神經(jīng)網(wǎng)絡(luò))的果實(shí)識(shí)別算法。本研究的主要內(nèi)容包括以下4個(gè)方面:(1)針對(duì)成熟蘋果表面顏色與背景存在明顯差異的特點(diǎn),提出了以顏色特征為主的蘋果識(shí)別算法。通過(guò)分析蘋果圖像中果實(shí)與其他物體在不同顏色因子下的區(qū)分度,選擇能夠體現(xiàn)果實(shí)與背景差異的顏...
【文章來(lái)源】:江蘇大學(xué)江蘇省
【文章頁(yè)數(shù)】:128 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
著色不均和
杉?敕治?為了對(duì)著色不均勻蘋果的顏色特征進(jìn)行提取和分析,需要大量的蘋果圖像進(jìn)行樣本分析與算法測(cè)試。2015年10月在江蘇省徐州市豐縣大沙河鎮(zhèn)蘋果種植基地進(jìn)行了蘋果圖像的采集。用于圖像采集的相機(jī)型號(hào)為佳能IXUS275HS,該型號(hào)相機(jī)采用CMOS(Complementarymetaloxidesemiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)感光元件。所有圖像為彩色圖像,分辨率為4160×3120,格式為jpg。為減少數(shù)據(jù)量并加快運(yùn)算速度,在試驗(yàn)中統(tǒng)一將圖像分辨率縮小為400×300。選取其中160幅圖像進(jìn)行試驗(yàn),這些圖像中包含多種不同光線和狀態(tài)下的果實(shí)。如圖2.3所示,其中圖2.3a,圖2.3b和圖2.3c分別展示了順光、逆光和側(cè)光環(huán)境下的蘋果圖像,同時(shí)圖2.3a~2.3d還分別展示了粘連、重疊、單果和遮擋的蘋果狀態(tài)。此類光線環(huán)境和蘋果狀態(tài)在所采集的圖像中較為常見(jiàn),具有一定的代表性。(a)順光與粘連果實(shí)(b)逆光與重疊果實(shí)(c)單個(gè)側(cè)光果實(shí)(d)樹(shù)葉遮擋果實(shí)圖2.3不同狀態(tài)的蘋果圖像Fig.2.3Appleimagesindifferentconditions所采集圖像中雖然光線環(huán)境復(fù)雜,果實(shí)狀態(tài)多樣,但是圖像中主要物體的構(gòu)成相對(duì)固定。分析所采集的圖像可以看出,構(gòu)成圖像的物體主要可以分為5類:果實(shí)、樹(shù)葉、樹(shù)枝、天空和泥土。其中,樹(shù)葉在圖像中所占面積最大,平均所占面積超過(guò)50%。為了對(duì)這5類物體的顏色特征進(jìn)行分析,選取了60幅圖像作為樣本圖像,并在這些圖像中分別提取這5類物體的像素樣本,其中部分樣本區(qū)域如圖2.4所示。在樣本選擇時(shí),充分考慮了樣本像素的差異性和代表性。差異性為相同物體不同部分的差異性和相同物體在不同光線下的差異性,代表性為選取的像素樣本應(yīng)廣泛存在于不同的樣本圖像中。圖2.4a中的蘋果樣本含有紅色部分和紅綠交雜部分,也含有順光和逆光部分等。圖2.4b中的樹(shù)葉樣本含有樹(shù)?
江蘇大學(xué)博士學(xué)位論文19(c)樹(shù)枝樣本(d)天空樣本(e)泥土樣本圖2.4不同物體的樣本圖像Fig.2.4Sampleimagesofdifferentobjects為了進(jìn)一步分析不同物體的顏色特征,圖2.5繪制了主要5類物體樣本像素點(diǎn)在RGB顏色空間的分布。從圖中可以看出樣本像素點(diǎn)基本圍繞對(duì)角線分布,其中天空樣本像素點(diǎn)因?yàn)榱炼容^高主要集中在顏色空間的右上角。樹(shù)枝和泥土的像素在RGB顏色空間與蘋果像素點(diǎn)距離較近,還存在部分交疊。天空像素和樹(shù)葉像素與部分蘋果像素距離較為接近,但是沒(méi)有明顯的交疊。在果實(shí)分割過(guò)程中,顏色空間中相互接近或交疊的像素極易被錯(cuò)誤分割。增加不同類別像素在顏色空間上的距離,有助于提高果實(shí)分割的準(zhǔn)確性。在相關(guān)研究中,通過(guò)構(gòu)造不同的算子或者尋找合適的顏色分量可以增加不同類別像素間的距離,從而提高不同類別像素間的區(qū)分度。但是根據(jù)經(jīng)驗(yàn)構(gòu)造的算子或者單一的顏色分量性能有限,難以實(shí)現(xiàn)準(zhǔn)確的像素分割,尤其是對(duì)此類著色不均勻的蘋果而言。因此,本研究提出通過(guò)對(duì)比不同類別像素在不同顏色分量或算子下的區(qū)分度,選擇其中區(qū)分度較大的顏色分量或算子對(duì)原圖進(jìn)行重構(gòu)形成多通道圖像。圖2.5樣本像素在RGB顏色空間的分布Fig.2.5ThedistributionofsamplepixelsinRGBcolorspace2.2.2顏色空間的分類與轉(zhuǎn)換在相關(guān)果實(shí)識(shí)別的研究中顏色空間的轉(zhuǎn)換是尋找合適顏色分量、構(gòu)造有效顏色算子的關(guān)鍵性步驟。目前,常見(jiàn)的顏色空間如圖2.6所示,圖中相同形狀的文本框表示的是同一類型的顏色空間。圖2.6中心的RGB顏色空間由光學(xué)三原色紅、綠、藍(lán)構(gòu)成,是原始圖像數(shù)據(jù)所采用的顏色空間,其他顏色空間可以從RGB顏色空間轉(zhuǎn)換得到。CMY顏
【參考文獻(xiàn)】:
期刊論文
[1]農(nóng)業(yè)裝備智能控制技術(shù)研究現(xiàn)狀與發(fā)展趨勢(shì)分析[J]. 劉成良,林洪振,李彥明,貢亮,苗中華. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2020(01)
[2]基于深度學(xué)習(xí)的蘋果樹(shù)側(cè)視圖果實(shí)識(shí)別[J]. 荊偉斌,李存軍,競(jìng)霞,趙葉,程成. 中國(guó)農(nóng)業(yè)信息. 2019(05)
[3]改進(jìn)Faster-RCNN自然環(huán)境下識(shí)別刺梨果實(shí)[J]. 閆建偉,趙源,張樂(lè)偉,蘇小東,劉紅蕓,張富貴,樊衛(wèi)國(guó),何林. 農(nóng)業(yè)工程學(xué)報(bào). 2019(18)
[4]基于改進(jìn)YOLOv3-LITE輕量級(jí)神經(jīng)網(wǎng)絡(luò)的柑橘識(shí)別方法[J]. 呂石磊,盧思華,李震,洪添勝,薛月菊,吳奔雷. 農(nóng)業(yè)工程學(xué)報(bào). 2019(17)
[5]基于改進(jìn)AlexNet的廣域復(fù)雜環(huán)境下遮擋獼猴桃目標(biāo)識(shí)別[J]. 穆龍濤,高宗斌,崔永杰,李凱,劉浩洲,傅隆生. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(10)
[6]自然環(huán)境下柑橘采摘機(jī)器人識(shí)別定位系統(tǒng)研究[J]. 楊長(zhǎng)輝,劉艷平,王毅,熊龍燁,許洪斌,趙萬(wàn)華. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(12)
[7]果樹(shù)重建與果實(shí)識(shí)別方法在采摘場(chǎng)景中的應(yīng)用[J]. 熊龍燁,王卓,何宇,劉灑,楊長(zhǎng)輝. 傳感器與微系統(tǒng). 2019(08)
[8]基于幾何形態(tài)學(xué)與迭代隨機(jī)圓的番茄識(shí)別方法[J]. 孫建桐,孫意凡,趙然,季宇寒,張漫,李寒. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(S1)
[9]農(nóng)業(yè)機(jī)械智能化設(shè)計(jì)技術(shù)發(fā)展現(xiàn)狀與展望[J]. 杜岳峰,傅生輝,毛恩榮,朱忠祥,李臻. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(09)
[10]基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋果目標(biāo)的識(shí)別[J]. 王丹丹,何東健. 農(nóng)業(yè)工程學(xué)報(bào). 2019(03)
本文編號(hào):3328954
【文章來(lái)源】:江蘇大學(xué)江蘇省
【文章頁(yè)數(shù)】:128 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
著色不均和
杉?敕治?為了對(duì)著色不均勻蘋果的顏色特征進(jìn)行提取和分析,需要大量的蘋果圖像進(jìn)行樣本分析與算法測(cè)試。2015年10月在江蘇省徐州市豐縣大沙河鎮(zhèn)蘋果種植基地進(jìn)行了蘋果圖像的采集。用于圖像采集的相機(jī)型號(hào)為佳能IXUS275HS,該型號(hào)相機(jī)采用CMOS(Complementarymetaloxidesemiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)感光元件。所有圖像為彩色圖像,分辨率為4160×3120,格式為jpg。為減少數(shù)據(jù)量并加快運(yùn)算速度,在試驗(yàn)中統(tǒng)一將圖像分辨率縮小為400×300。選取其中160幅圖像進(jìn)行試驗(yàn),這些圖像中包含多種不同光線和狀態(tài)下的果實(shí)。如圖2.3所示,其中圖2.3a,圖2.3b和圖2.3c分別展示了順光、逆光和側(cè)光環(huán)境下的蘋果圖像,同時(shí)圖2.3a~2.3d還分別展示了粘連、重疊、單果和遮擋的蘋果狀態(tài)。此類光線環(huán)境和蘋果狀態(tài)在所采集的圖像中較為常見(jiàn),具有一定的代表性。(a)順光與粘連果實(shí)(b)逆光與重疊果實(shí)(c)單個(gè)側(cè)光果實(shí)(d)樹(shù)葉遮擋果實(shí)圖2.3不同狀態(tài)的蘋果圖像Fig.2.3Appleimagesindifferentconditions所采集圖像中雖然光線環(huán)境復(fù)雜,果實(shí)狀態(tài)多樣,但是圖像中主要物體的構(gòu)成相對(duì)固定。分析所采集的圖像可以看出,構(gòu)成圖像的物體主要可以分為5類:果實(shí)、樹(shù)葉、樹(shù)枝、天空和泥土。其中,樹(shù)葉在圖像中所占面積最大,平均所占面積超過(guò)50%。為了對(duì)這5類物體的顏色特征進(jìn)行分析,選取了60幅圖像作為樣本圖像,并在這些圖像中分別提取這5類物體的像素樣本,其中部分樣本區(qū)域如圖2.4所示。在樣本選擇時(shí),充分考慮了樣本像素的差異性和代表性。差異性為相同物體不同部分的差異性和相同物體在不同光線下的差異性,代表性為選取的像素樣本應(yīng)廣泛存在于不同的樣本圖像中。圖2.4a中的蘋果樣本含有紅色部分和紅綠交雜部分,也含有順光和逆光部分等。圖2.4b中的樹(shù)葉樣本含有樹(shù)?
江蘇大學(xué)博士學(xué)位論文19(c)樹(shù)枝樣本(d)天空樣本(e)泥土樣本圖2.4不同物體的樣本圖像Fig.2.4Sampleimagesofdifferentobjects為了進(jìn)一步分析不同物體的顏色特征,圖2.5繪制了主要5類物體樣本像素點(diǎn)在RGB顏色空間的分布。從圖中可以看出樣本像素點(diǎn)基本圍繞對(duì)角線分布,其中天空樣本像素點(diǎn)因?yàn)榱炼容^高主要集中在顏色空間的右上角。樹(shù)枝和泥土的像素在RGB顏色空間與蘋果像素點(diǎn)距離較近,還存在部分交疊。天空像素和樹(shù)葉像素與部分蘋果像素距離較為接近,但是沒(méi)有明顯的交疊。在果實(shí)分割過(guò)程中,顏色空間中相互接近或交疊的像素極易被錯(cuò)誤分割。增加不同類別像素在顏色空間上的距離,有助于提高果實(shí)分割的準(zhǔn)確性。在相關(guān)研究中,通過(guò)構(gòu)造不同的算子或者尋找合適的顏色分量可以增加不同類別像素間的距離,從而提高不同類別像素間的區(qū)分度。但是根據(jù)經(jīng)驗(yàn)構(gòu)造的算子或者單一的顏色分量性能有限,難以實(shí)現(xiàn)準(zhǔn)確的像素分割,尤其是對(duì)此類著色不均勻的蘋果而言。因此,本研究提出通過(guò)對(duì)比不同類別像素在不同顏色分量或算子下的區(qū)分度,選擇其中區(qū)分度較大的顏色分量或算子對(duì)原圖進(jìn)行重構(gòu)形成多通道圖像。圖2.5樣本像素在RGB顏色空間的分布Fig.2.5ThedistributionofsamplepixelsinRGBcolorspace2.2.2顏色空間的分類與轉(zhuǎn)換在相關(guān)果實(shí)識(shí)別的研究中顏色空間的轉(zhuǎn)換是尋找合適顏色分量、構(gòu)造有效顏色算子的關(guān)鍵性步驟。目前,常見(jiàn)的顏色空間如圖2.6所示,圖中相同形狀的文本框表示的是同一類型的顏色空間。圖2.6中心的RGB顏色空間由光學(xué)三原色紅、綠、藍(lán)構(gòu)成,是原始圖像數(shù)據(jù)所采用的顏色空間,其他顏色空間可以從RGB顏色空間轉(zhuǎn)換得到。CMY顏
【參考文獻(xiàn)】:
期刊論文
[1]農(nóng)業(yè)裝備智能控制技術(shù)研究現(xiàn)狀與發(fā)展趨勢(shì)分析[J]. 劉成良,林洪振,李彥明,貢亮,苗中華. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2020(01)
[2]基于深度學(xué)習(xí)的蘋果樹(shù)側(cè)視圖果實(shí)識(shí)別[J]. 荊偉斌,李存軍,競(jìng)霞,趙葉,程成. 中國(guó)農(nóng)業(yè)信息. 2019(05)
[3]改進(jìn)Faster-RCNN自然環(huán)境下識(shí)別刺梨果實(shí)[J]. 閆建偉,趙源,張樂(lè)偉,蘇小東,劉紅蕓,張富貴,樊衛(wèi)國(guó),何林. 農(nóng)業(yè)工程學(xué)報(bào). 2019(18)
[4]基于改進(jìn)YOLOv3-LITE輕量級(jí)神經(jīng)網(wǎng)絡(luò)的柑橘識(shí)別方法[J]. 呂石磊,盧思華,李震,洪添勝,薛月菊,吳奔雷. 農(nóng)業(yè)工程學(xué)報(bào). 2019(17)
[5]基于改進(jìn)AlexNet的廣域復(fù)雜環(huán)境下遮擋獼猴桃目標(biāo)識(shí)別[J]. 穆龍濤,高宗斌,崔永杰,李凱,劉浩洲,傅隆生. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(10)
[6]自然環(huán)境下柑橘采摘機(jī)器人識(shí)別定位系統(tǒng)研究[J]. 楊長(zhǎng)輝,劉艷平,王毅,熊龍燁,許洪斌,趙萬(wàn)華. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(12)
[7]果樹(shù)重建與果實(shí)識(shí)別方法在采摘場(chǎng)景中的應(yīng)用[J]. 熊龍燁,王卓,何宇,劉灑,楊長(zhǎng)輝. 傳感器與微系統(tǒng). 2019(08)
[8]基于幾何形態(tài)學(xué)與迭代隨機(jī)圓的番茄識(shí)別方法[J]. 孫建桐,孫意凡,趙然,季宇寒,張漫,李寒. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(S1)
[9]農(nóng)業(yè)機(jī)械智能化設(shè)計(jì)技術(shù)發(fā)展現(xiàn)狀與展望[J]. 杜岳峰,傅生輝,毛恩榮,朱忠祥,李臻. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(09)
[10]基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人疏果前蘋果目標(biāo)的識(shí)別[J]. 王丹丹,何東健. 農(nóng)業(yè)工程學(xué)報(bào). 2019(03)
本文編號(hào):3328954
本文鏈接:http://www.sikaile.net/kejilunwen/shengwushengchang/3328954.html
最近更新
教材專著