基于層級(jí)語(yǔ)義圖嵌入的食物圖像語(yǔ)義融合分類(lèi)算法研究
發(fā)布時(shí)間:2022-02-05 03:35
食物圖像識(shí)別是飲食健康系統(tǒng)的關(guān)鍵技術(shù),層級(jí)圖嵌入算法是分類(lèi)算法研究領(lǐng)域的重難點(diǎn)之一。結(jié)合層級(jí)圖嵌入算法的食物圖像識(shí)別算法在飲食健康與醫(yī)療檢測(cè)等應(yīng)用場(chǎng)景中有著廣泛的應(yīng)用前景。隨著國(guó)家將飲食健康提升到了國(guó)家戰(zhàn)略層面,經(jīng)過(guò)層級(jí)結(jié)構(gòu)圖嵌入優(yōu)化過(guò)的食物識(shí)別算法將在實(shí)際生活中表現(xiàn)出越來(lái)越重要的作用。食物識(shí)別準(zhǔn)確率是非常重要的指標(biāo),但是由于分類(lèi)模型的精度和冗余度的限制,使得提高識(shí)別準(zhǔn)確率的代價(jià)高昂。結(jié)合層級(jí)信息進(jìn)行食物的粗細(xì)混合分類(lèi)提高使用者的接受度很有價(jià)值。如何更好地利用層級(jí)信息則是難點(diǎn),因此基于層級(jí)圖嵌入結(jié)構(gòu)的食物識(shí)別方向是非常具有應(yīng)用價(jià)值的研究課題。本文研究了前沿的層級(jí)分類(lèi)算法,并針對(duì)其中自上而下的層級(jí)分類(lèi)算法以及圖像語(yǔ)義融合所遇到的難點(diǎn)問(wèn)題進(jìn)行了研究分析。充分研究和借鑒了層級(jí)語(yǔ)義圖嵌入算法,將其與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合。本文設(shè)計(jì)了一種基于層級(jí)語(yǔ)義圖嵌入的食物識(shí)別算法。論文的主要工作有:本文針對(duì)目前自上而下進(jìn)行層級(jí)分類(lèi)所造成的層級(jí)深層節(jié)點(diǎn)的分類(lèi)精度下降問(wèn)題,提出了基于層級(jí)圖嵌入的自下而上的層級(jí)分類(lèi)過(guò)程。在本文提出的數(shù)據(jù)集上,本文提出的算法在細(xì)分類(lèi)精度Top-1提升了7.79%。本文提出了層級(jí)搜索閾值...
【文章來(lái)源】:哈爾濱工業(yè)大學(xué)黑龍江省211工程院校985工程院校
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
樹(shù)狀結(jié)構(gòu)
詰畢虜豢山饈偷納疃壬窬??絡(luò)的發(fā)展指明了方向。層級(jí)圖結(jié)構(gòu)作為圖結(jié)構(gòu)的一個(gè)子集,如何借助圖嵌入與圖卷積的研究成果促進(jìn)層級(jí)圖結(jié)構(gòu)在弱監(jiān)督方面的應(yīng)用是一個(gè)很關(guān)鍵的問(wèn)題。層級(jí)結(jié)構(gòu)分為樹(shù)狀與有向無(wú)環(huán)圖兩種,如圖1-1與1-2。以往的研究大部分集中于樹(shù)狀層級(jí)結(jié)構(gòu)當(dāng)中,并沒(méi)有擴(kuò)展到廣義上的有向無(wú)環(huán)圖。層級(jí)結(jié)構(gòu)的生成方式有最基本的兩種,分別是從上而下的人為預(yù)定義以及從下而上的從數(shù)據(jù)中自生成。目前主流的方式是采用包含更多語(yǔ)義信息的自上而下的方式進(jìn)行,從而達(dá)到能夠結(jié)合語(yǔ)義信息和圖像信息的融合。圖1-1樹(shù)狀結(jié)構(gòu)圖1-2有向無(wú)環(huán)圖傳統(tǒng)的層級(jí)分類(lèi)研究在2013年之前取得了豐碩的研究成果,可分為“平坦分類(lèi)器”(無(wú)視類(lèi)間差異的圖像分類(lèi)器)與層級(jí)關(guān)系分類(lèi)器兩個(gè)大的種類(lèi)!捌教狗诸(lèi)器”就是忽略種類(lèi)間可能存在的類(lèi)別差異,例如類(lèi)別間圖像特征上或者語(yǔ)義上的相似度。而層級(jí)關(guān)系分類(lèi)器則考慮了這種類(lèi)間差異性和相似性。圖1-3梳理了層級(jí)分類(lèi)的演化進(jìn)度。逐節(jié)點(diǎn)局部分類(lèi)(LCN)[13]、逐父親節(jié)點(diǎn)局部分類(lèi)(LCPN)[14]、層級(jí)間局部分類(lèi)(LCL)[15]以及全局分類(lèi)[16]四個(gè)分支組成了層級(jí)分類(lèi)家族。這四種算法是四種不同的設(shè)計(jì)思路,均以損失函數(shù)的形式表現(xiàn)在模型訓(xùn)練中。而根據(jù)層級(jí)結(jié)構(gòu)設(shè)計(jì)損失函數(shù)又可以分為兩個(gè)部分。首先第一個(gè)是代價(jià)敏感損失函數(shù),本質(zhì)是是以節(jié)點(diǎn)間的層級(jí)上的關(guān)系確定一組系數(shù)對(duì)損失函數(shù)進(jìn)行加權(quán)。其次是用層級(jí)結(jié)構(gòu)對(duì)正則項(xiàng)進(jìn)行設(shè)計(jì)。‘在深度神經(jīng)網(wǎng)絡(luò)提出后,學(xué)術(shù)界很多研究者努力將將其運(yùn)用在層級(jí)分類(lèi)中。Yan等人提出的HD-CNN是非常具有代表性的一個(gè)算法,融合了層級(jí)結(jié)構(gòu)與深度神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了端到端的訓(xùn)練和使用過(guò)程。如圖1-4所示,HD-CNN本質(zhì)上是設(shè)計(jì)了一個(gè)兩層的樹(shù)狀層級(jí)結(jié)構(gòu),借助這個(gè)結(jié)構(gòu)將深度卷積神經(jīng)網(wǎng)絡(luò)分為兩個(gè)主-4-
哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文圖1-4HD-CNN模型結(jié)構(gòu)圖[9]分類(lèi)算法進(jìn)行結(jié)合,從而達(dá)到了能夠檢測(cè)9000類(lèi)物體的程度。Redmon使用層級(jí)Softmax激活函數(shù)設(shè)計(jì)損失函數(shù)來(lái)生成父子節(jié)點(diǎn)的條件概率,并用由上而下的條件概率的累乘計(jì)算當(dāng)前節(jié)點(diǎn)的預(yù)測(cè)概率,當(dāng)小于設(shè)定閾值時(shí)則停止向下的搜索并輸出當(dāng)前節(jié)點(diǎn)。這種思路借鑒了由上而下的傳統(tǒng)層級(jí)分類(lèi)的思路,并且將粗細(xì)分類(lèi)結(jié)合到了一起。這種用層級(jí)結(jié)構(gòu)模擬條件概率的思路在本論文中得到了改進(jìn),是非常值得參考的方向。當(dāng)然,這種搜索方式也存在著弊端。首先是層級(jí)結(jié)構(gòu)的規(guī)模。當(dāng)層級(jí)結(jié)構(gòu)規(guī)模巨大,例如超過(guò)10000個(gè)節(jié)點(diǎn)時(shí),層級(jí)結(jié)構(gòu)由于太深出現(xiàn)細(xì)分類(lèi)上的精度丟失問(wèn)題。這是由于層級(jí)Softmax激活函數(shù)算法本質(zhì)上是一種貪心搜索,尋找到的往往是局部最優(yōu)解。其次是層級(jí)結(jié)構(gòu)僅僅限制于樹(shù)狀結(jié)構(gòu),對(duì)于有向無(wú)環(huán)圖則缺乏相應(yīng)的解決方案。這兩點(diǎn)極大地限制了Yolo9000后續(xù)地改進(jìn)與發(fā)展。最后,Yolo9000給出了層級(jí)結(jié)構(gòu)結(jié)合深度神經(jīng)網(wǎng)絡(luò)的一個(gè)不錯(cuò)的思路。即不追求分類(lèi)精度上的提升,而是利用層級(jí)結(jié)構(gòu)的特性,做到盡量接近“平坦”分類(lèi)器的細(xì)分精度的前提下,盡量能提供更好的粗分精度。做到“犯更好的錯(cuò)誤”2019年,Brust等人[18]在Yolo9000的基礎(chǔ)之上對(duì)層級(jí)Softmax激活函數(shù)加以改進(jìn)。但是仍然存在問(wèn)題,Clemens所使用的圖像特征向量并沒(méi)有明確指定訓(xùn)練環(huán)境和配置模型,同時(shí)對(duì)比試驗(yàn)少。其文中實(shí)驗(yàn)數(shù)據(jù)以下論斷:在同等深度神經(jīng)網(wǎng)絡(luò)的情況下,使用層級(jí)結(jié)構(gòu)的概率預(yù)測(cè)模型很難在細(xì)分精度上超越“平坦”分類(lèi)器。此外吳慧等人[19]所設(shè)計(jì)的CNN-HL-LI模型是專(zhuān)門(mén)針對(duì)食物場(chǎng)景進(jìn)行設(shè)計(jì)的。其主要的精力放在了損失函數(shù)的設(shè)計(jì)上,如圖1-5中所展示的算法結(jié)構(gòu)。因?yàn)槭澄镩g存在著差異性和相似性,并且由于食物間的語(yǔ)義相似度的粗細(xì)程?
【參考文獻(xiàn)】:
期刊論文
[1]多級(jí)卷積特征金字塔的細(xì)粒度食物圖片識(shí)別[J]. 梁華剛,溫曉倩,梁丹丹,李懷德,茹鋒. 中國(guó)圖象圖形學(xué)報(bào). 2019(06)
[2]基于深度學(xué)習(xí)的食物卡路里估算方法[J]. 梁炎超,李建華. 華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
碩士論文
[1]“科技新冷戰(zhàn)”的框架化解讀:美國(guó)媒體對(duì)中國(guó)“制造2025”和德國(guó)“工業(yè)4.0”的報(bào)道比較[D]. 馮藍(lán)宇.上海外國(guó)語(yǔ)大學(xué) 2019
[2]城市居民購(gòu)買(mǎi)保健食品的意向、行為及影響因素研究[D]. 劉偉.江南大學(xué) 2017
[3]透過(guò)工業(yè)4.0解析“中國(guó)制造2025”[D]. 侯晉珊.北京工業(yè)大學(xué) 2017
[4]中西飲食文化差異研究[D]. 王娜.河南大學(xué) 2013
本文編號(hào):3614484
【文章來(lái)源】:哈爾濱工業(yè)大學(xué)黑龍江省211工程院校985工程院校
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
樹(shù)狀結(jié)構(gòu)
詰畢虜豢山饈偷納疃壬窬??絡(luò)的發(fā)展指明了方向。層級(jí)圖結(jié)構(gòu)作為圖結(jié)構(gòu)的一個(gè)子集,如何借助圖嵌入與圖卷積的研究成果促進(jìn)層級(jí)圖結(jié)構(gòu)在弱監(jiān)督方面的應(yīng)用是一個(gè)很關(guān)鍵的問(wèn)題。層級(jí)結(jié)構(gòu)分為樹(shù)狀與有向無(wú)環(huán)圖兩種,如圖1-1與1-2。以往的研究大部分集中于樹(shù)狀層級(jí)結(jié)構(gòu)當(dāng)中,并沒(méi)有擴(kuò)展到廣義上的有向無(wú)環(huán)圖。層級(jí)結(jié)構(gòu)的生成方式有最基本的兩種,分別是從上而下的人為預(yù)定義以及從下而上的從數(shù)據(jù)中自生成。目前主流的方式是采用包含更多語(yǔ)義信息的自上而下的方式進(jìn)行,從而達(dá)到能夠結(jié)合語(yǔ)義信息和圖像信息的融合。圖1-1樹(shù)狀結(jié)構(gòu)圖1-2有向無(wú)環(huán)圖傳統(tǒng)的層級(jí)分類(lèi)研究在2013年之前取得了豐碩的研究成果,可分為“平坦分類(lèi)器”(無(wú)視類(lèi)間差異的圖像分類(lèi)器)與層級(jí)關(guān)系分類(lèi)器兩個(gè)大的種類(lèi)!捌教狗诸(lèi)器”就是忽略種類(lèi)間可能存在的類(lèi)別差異,例如類(lèi)別間圖像特征上或者語(yǔ)義上的相似度。而層級(jí)關(guān)系分類(lèi)器則考慮了這種類(lèi)間差異性和相似性。圖1-3梳理了層級(jí)分類(lèi)的演化進(jìn)度。逐節(jié)點(diǎn)局部分類(lèi)(LCN)[13]、逐父親節(jié)點(diǎn)局部分類(lèi)(LCPN)[14]、層級(jí)間局部分類(lèi)(LCL)[15]以及全局分類(lèi)[16]四個(gè)分支組成了層級(jí)分類(lèi)家族。這四種算法是四種不同的設(shè)計(jì)思路,均以損失函數(shù)的形式表現(xiàn)在模型訓(xùn)練中。而根據(jù)層級(jí)結(jié)構(gòu)設(shè)計(jì)損失函數(shù)又可以分為兩個(gè)部分。首先第一個(gè)是代價(jià)敏感損失函數(shù),本質(zhì)是是以節(jié)點(diǎn)間的層級(jí)上的關(guān)系確定一組系數(shù)對(duì)損失函數(shù)進(jìn)行加權(quán)。其次是用層級(jí)結(jié)構(gòu)對(duì)正則項(xiàng)進(jìn)行設(shè)計(jì)。‘在深度神經(jīng)網(wǎng)絡(luò)提出后,學(xué)術(shù)界很多研究者努力將將其運(yùn)用在層級(jí)分類(lèi)中。Yan等人提出的HD-CNN是非常具有代表性的一個(gè)算法,融合了層級(jí)結(jié)構(gòu)與深度神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了端到端的訓(xùn)練和使用過(guò)程。如圖1-4所示,HD-CNN本質(zhì)上是設(shè)計(jì)了一個(gè)兩層的樹(shù)狀層級(jí)結(jié)構(gòu),借助這個(gè)結(jié)構(gòu)將深度卷積神經(jīng)網(wǎng)絡(luò)分為兩個(gè)主-4-
哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文圖1-4HD-CNN模型結(jié)構(gòu)圖[9]分類(lèi)算法進(jìn)行結(jié)合,從而達(dá)到了能夠檢測(cè)9000類(lèi)物體的程度。Redmon使用層級(jí)Softmax激活函數(shù)設(shè)計(jì)損失函數(shù)來(lái)生成父子節(jié)點(diǎn)的條件概率,并用由上而下的條件概率的累乘計(jì)算當(dāng)前節(jié)點(diǎn)的預(yù)測(cè)概率,當(dāng)小于設(shè)定閾值時(shí)則停止向下的搜索并輸出當(dāng)前節(jié)點(diǎn)。這種思路借鑒了由上而下的傳統(tǒng)層級(jí)分類(lèi)的思路,并且將粗細(xì)分類(lèi)結(jié)合到了一起。這種用層級(jí)結(jié)構(gòu)模擬條件概率的思路在本論文中得到了改進(jìn),是非常值得參考的方向。當(dāng)然,這種搜索方式也存在著弊端。首先是層級(jí)結(jié)構(gòu)的規(guī)模。當(dāng)層級(jí)結(jié)構(gòu)規(guī)模巨大,例如超過(guò)10000個(gè)節(jié)點(diǎn)時(shí),層級(jí)結(jié)構(gòu)由于太深出現(xiàn)細(xì)分類(lèi)上的精度丟失問(wèn)題。這是由于層級(jí)Softmax激活函數(shù)算法本質(zhì)上是一種貪心搜索,尋找到的往往是局部最優(yōu)解。其次是層級(jí)結(jié)構(gòu)僅僅限制于樹(shù)狀結(jié)構(gòu),對(duì)于有向無(wú)環(huán)圖則缺乏相應(yīng)的解決方案。這兩點(diǎn)極大地限制了Yolo9000后續(xù)地改進(jìn)與發(fā)展。最后,Yolo9000給出了層級(jí)結(jié)構(gòu)結(jié)合深度神經(jīng)網(wǎng)絡(luò)的一個(gè)不錯(cuò)的思路。即不追求分類(lèi)精度上的提升,而是利用層級(jí)結(jié)構(gòu)的特性,做到盡量接近“平坦”分類(lèi)器的細(xì)分精度的前提下,盡量能提供更好的粗分精度。做到“犯更好的錯(cuò)誤”2019年,Brust等人[18]在Yolo9000的基礎(chǔ)之上對(duì)層級(jí)Softmax激活函數(shù)加以改進(jìn)。但是仍然存在問(wèn)題,Clemens所使用的圖像特征向量并沒(méi)有明確指定訓(xùn)練環(huán)境和配置模型,同時(shí)對(duì)比試驗(yàn)少。其文中實(shí)驗(yàn)數(shù)據(jù)以下論斷:在同等深度神經(jīng)網(wǎng)絡(luò)的情況下,使用層級(jí)結(jié)構(gòu)的概率預(yù)測(cè)模型很難在細(xì)分精度上超越“平坦”分類(lèi)器。此外吳慧等人[19]所設(shè)計(jì)的CNN-HL-LI模型是專(zhuān)門(mén)針對(duì)食物場(chǎng)景進(jìn)行設(shè)計(jì)的。其主要的精力放在了損失函數(shù)的設(shè)計(jì)上,如圖1-5中所展示的算法結(jié)構(gòu)。因?yàn)槭澄镩g存在著差異性和相似性,并且由于食物間的語(yǔ)義相似度的粗細(xì)程?
【參考文獻(xiàn)】:
期刊論文
[1]多級(jí)卷積特征金字塔的細(xì)粒度食物圖片識(shí)別[J]. 梁華剛,溫曉倩,梁丹丹,李懷德,茹鋒. 中國(guó)圖象圖形學(xué)報(bào). 2019(06)
[2]基于深度學(xué)習(xí)的食物卡路里估算方法[J]. 梁炎超,李建華. 華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
碩士論文
[1]“科技新冷戰(zhàn)”的框架化解讀:美國(guó)媒體對(duì)中國(guó)“制造2025”和德國(guó)“工業(yè)4.0”的報(bào)道比較[D]. 馮藍(lán)宇.上海外國(guó)語(yǔ)大學(xué) 2019
[2]城市居民購(gòu)買(mǎi)保健食品的意向、行為及影響因素研究[D]. 劉偉.江南大學(xué) 2017
[3]透過(guò)工業(yè)4.0解析“中國(guó)制造2025”[D]. 侯晉珊.北京工業(yè)大學(xué) 2017
[4]中西飲食文化差異研究[D]. 王娜.河南大學(xué) 2013
本文編號(hào):3614484
本文鏈接:http://www.sikaile.net/kejilunwen/shengwushengchang/3614484.html
最近更新
教材專(zhuān)著