自然場景下行人再識別技術(shù)研究及實現(xiàn)
發(fā)布時間:2021-01-26 03:01
行人再識別是計算機視覺領(lǐng)域的一項重要技術(shù),能夠在跨域監(jiān)控系統(tǒng)中識別和跟蹤不同的行人,對于刑偵探案、流量分析、尋找丟失的老人和兒童等都具有重要的現(xiàn)實意義。近幾年,行人再識別技術(shù)得到了廣泛的關(guān)注,尤其是隨著卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用,極大地促進了端到端的行人再識別技術(shù)的發(fā)展,也出現(xiàn)了許多研究子類。但是在實際應(yīng)用中行人再識別任務(wù)也面臨著一些困難和挑戰(zhàn),比如缺乏大量的訓(xùn)練數(shù)據(jù),當(dāng)前收集到的數(shù)據(jù)與真實數(shù)據(jù)的時空分布相比是非常有限的;而且受不同攝像頭設(shè)置角度、光照變化、背景差異、姿態(tài)變化等的影響,行人的視覺特征會發(fā)生劇烈變化,增大了匹配難度。如何克服上述因素帶來的影響,是解決行人再識別技術(shù)的關(guān)鍵。本文基于自然場景下采集的監(jiān)控視頻數(shù)據(jù)進行行人再識別研究,通過對傳統(tǒng)手工設(shè)計與卷積神經(jīng)網(wǎng)絡(luò)方法進行分析和對比,對整體的研究有了更清晰的認(rèn)識。本文重點對基于對抗生成網(wǎng)絡(luò)的行人再識別方法進行研究,對抗生成網(wǎng)絡(luò)具有生成樣本的能力,當(dāng)前在行人再識別領(lǐng)域得到了廣泛的應(yīng)用。針對數(shù)據(jù)集存在的訓(xùn)練樣本不足以及季節(jié)差異問題,本文基于對抗生成網(wǎng)絡(luò)及其衍變模型進行圖像風(fēng)格轉(zhuǎn)換研究,提出了一個解決方案來完成多場景下的冬夏季節(jié)遷移。在循環(huán)對...
【文章來源】:北京郵電大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:60 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖1-1行人再識別查詢步驟??與上述過程相對應(yīng),行人再識別任務(wù)可以劃分成獨立的兩個步驟:特征提取??和距離計算,可以針對其中一個方面進行專門研宄來提高模型的準(zhǔn)確率
(4)數(shù)據(jù)影響??首先是行人數(shù)據(jù)收集困難,導(dǎo)致訓(xùn)練數(shù)據(jù)不足。當(dāng)前,我們很難收集到跨時??間、跨氣候和多場景的大規(guī)模行人數(shù)據(jù),遠(yuǎn)遠(yuǎn)達不到真實數(shù)據(jù)要求的廣泛性時分布。而且與其他視覺任務(wù)相比,公開數(shù)據(jù)集的規(guī)模也非常小,當(dāng)前最大規(guī)模行人再識別數(shù)據(jù)集僅有4000多個行人,共12萬多張行人圖片,遠(yuǎn)達不到實際用的需求。??其次是數(shù)據(jù)集的制作和發(fā)布比較困難。與其他公開數(shù)據(jù)集制作不同,行人再??識別任務(wù)需要依賴人工對每張行人圖像進行標(biāo)注,這會消耗大量的人力和物力。??而且標(biāo)注本身有時也存在問題,在視頻中要想把兩個年齡、體貌相似、穿著相同??的行人區(qū)分開是比較困難的。另外,隱私保護也是需要考慮的難點,行人圖像般包含行人的面部和肢體信息,發(fā)布數(shù)據(jù)集之前需要對行人進行脫敏處理。??1.3研究內(nèi)容??本文主要研究了自然場景下行人再識別技術(shù)的主流算法與研究熱點,工作內(nèi)??:??
基于視頻序列的方法主要思想是構(gòu)建混合網(wǎng)絡(luò),一方面通過卷積神經(jīng)網(wǎng)絡(luò)來??提取空間特征,另一方面利用循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks,RNN)??[3()]來提取時序特征。整個網(wǎng)絡(luò)的輸入為圖像序列,過程如圖2-1所示。??<幀1???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)????特??行人1? ̄一幀2——^卷積網(wǎng)絡(luò)——?循環(huán)網(wǎng)絡(luò)——??J????\幀3???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)???u??距離計算??^幀1???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)???ik??i?特????I?量??\幀3???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)????圖2-1基于視頻序列的行人再識別流程??每張圖像都經(jīng)過一個共享的CNN提取出圖像空間特征,然后這些特征向量??被輸入到一個RNN網(wǎng)絡(luò)去提取時序特征。最終的特征表示融合了單幀圖像的特??征和幀與幀之間的時序特征,用于代替前面單幀方法的特征向量來訓(xùn)練網(wǎng)絡(luò)。這??種方法能夠充分利用多幀數(shù)據(jù)的信息,提取出更有辨別力的行人特征。這對于行??人追蹤技術(shù)是十分重要的,因為通過繪制行人的運動軌跡,能夠不斷分析和追蹤??行人,幫助預(yù)判行人的出現(xiàn)位置。??2.2.4行人對齊??大多數(shù)現(xiàn)有的行人再識別方法側(cè)重于學(xué)習(xí)有監(jiān)督的身份辨別信息,但無論是??特征提取還是距離度量,甚至深度學(xué)習(xí)方法都假設(shè)行人的圖像是嚴(yán)格對齊的,這??在實際應(yīng)用場景中幾乎是不可能實現(xiàn)的。因為行人檢測器會存在偏差
本文編號:3000352
【文章來源】:北京郵電大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】:60 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖1-1行人再識別查詢步驟??與上述過程相對應(yīng),行人再識別任務(wù)可以劃分成獨立的兩個步驟:特征提取??和距離計算,可以針對其中一個方面進行專門研宄來提高模型的準(zhǔn)確率
(4)數(shù)據(jù)影響??首先是行人數(shù)據(jù)收集困難,導(dǎo)致訓(xùn)練數(shù)據(jù)不足。當(dāng)前,我們很難收集到跨時??間、跨氣候和多場景的大規(guī)模行人數(shù)據(jù),遠(yuǎn)遠(yuǎn)達不到真實數(shù)據(jù)要求的廣泛性時分布。而且與其他視覺任務(wù)相比,公開數(shù)據(jù)集的規(guī)模也非常小,當(dāng)前最大規(guī)模行人再識別數(shù)據(jù)集僅有4000多個行人,共12萬多張行人圖片,遠(yuǎn)達不到實際用的需求。??其次是數(shù)據(jù)集的制作和發(fā)布比較困難。與其他公開數(shù)據(jù)集制作不同,行人再??識別任務(wù)需要依賴人工對每張行人圖像進行標(biāo)注,這會消耗大量的人力和物力。??而且標(biāo)注本身有時也存在問題,在視頻中要想把兩個年齡、體貌相似、穿著相同??的行人區(qū)分開是比較困難的。另外,隱私保護也是需要考慮的難點,行人圖像般包含行人的面部和肢體信息,發(fā)布數(shù)據(jù)集之前需要對行人進行脫敏處理。??1.3研究內(nèi)容??本文主要研究了自然場景下行人再識別技術(shù)的主流算法與研究熱點,工作內(nèi)??:??
基于視頻序列的方法主要思想是構(gòu)建混合網(wǎng)絡(luò),一方面通過卷積神經(jīng)網(wǎng)絡(luò)來??提取空間特征,另一方面利用循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks,RNN)??[3()]來提取時序特征。整個網(wǎng)絡(luò)的輸入為圖像序列,過程如圖2-1所示。??<幀1???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)????特??行人1? ̄一幀2——^卷積網(wǎng)絡(luò)——?循環(huán)網(wǎng)絡(luò)——??J????\幀3???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)???u??距離計算??^幀1???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)???ik??i?特????I?量??\幀3???卷積網(wǎng)絡(luò)??循環(huán)網(wǎng)絡(luò)????圖2-1基于視頻序列的行人再識別流程??每張圖像都經(jīng)過一個共享的CNN提取出圖像空間特征,然后這些特征向量??被輸入到一個RNN網(wǎng)絡(luò)去提取時序特征。最終的特征表示融合了單幀圖像的特??征和幀與幀之間的時序特征,用于代替前面單幀方法的特征向量來訓(xùn)練網(wǎng)絡(luò)。這??種方法能夠充分利用多幀數(shù)據(jù)的信息,提取出更有辨別力的行人特征。這對于行??人追蹤技術(shù)是十分重要的,因為通過繪制行人的運動軌跡,能夠不斷分析和追蹤??行人,幫助預(yù)判行人的出現(xiàn)位置。??2.2.4行人對齊??大多數(shù)現(xiàn)有的行人再識別方法側(cè)重于學(xué)習(xí)有監(jiān)督的身份辨別信息,但無論是??特征提取還是距離度量,甚至深度學(xué)習(xí)方法都假設(shè)行人的圖像是嚴(yán)格對齊的,這??在實際應(yīng)用場景中幾乎是不可能實現(xiàn)的。因為行人檢測器會存在偏差
本文編號:3000352
本文鏈接:http://www.sikaile.net/kejilunwen/shengwushengchang/3000352.html
最近更新
教材專著