基于時空采樣網(wǎng)絡(luò)的目標跟蹤算法研究
發(fā)布時間:2021-03-30 08:17
目標跟蹤作為人工智能領(lǐng)域的一個重要分支,它是對序列圖像的處理過程,即在連續(xù)幀中輸出指定目標的準確位置并形成運動軌跡,F(xiàn)在目標跟蹤的應(yīng)用主要集中在智能監(jiān)控、無人機、自動駕駛等領(lǐng)域。在目標跟蹤領(lǐng)域,從傳統(tǒng)算法到深度學(xué)習算法的遞進過程中,目標是否具有全面的特征表達會直接影響跟蹤的精度和成功率。如何獲得更全面的特征表示方法是本文的關(guān)鍵點之一。近些年來的目標跟蹤算法可大致分為傳統(tǒng)的目標跟蹤算法以及深度學(xué)習相關(guān)的目標跟蹤算法。傳統(tǒng)目標跟蹤算法一般具有良好的實時性,但是它只針對特定場景,泛化性能差。深度學(xué)習在處理圖像時模擬人類的視覺系統(tǒng),對接收到的外部信息進行分級處理,通過組合底層特征形成更加抽象的高層特征,可面對各種復(fù)雜場景變化,具有良好的泛化性能,但是實時性有所欠佳。針對這些不足,本文所提出的基于深度學(xué)習的目標跟蹤算法,設(shè)計了一個輕量級的端到端的跟蹤網(wǎng)絡(luò),不僅優(yōu)化了特征表達從而實現(xiàn)更穩(wěn)定的跟蹤效果,而且加入了相關(guān)濾波層來提高跟蹤速度,使得本文的算法在精度、成功率和速度上都具有一定的優(yōu)勢。本文的工作總結(jié)如下:第一,為了獲取圖像序列的時間和空間信息,設(shè)計時空采樣網(wǎng)絡(luò)來提取特征,并加入了可變形卷積層,...
【文章來源】:中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所)四川省
【文章頁數(shù)】:82 頁
【學(xué)位級別】:碩士
【部分圖文】:
目標跟蹤示意圖
31.2國內(nèi)外研究現(xiàn)狀一般來說,關(guān)于目標跟蹤的算法被分為兩類:傳統(tǒng)算法和基于深度學(xué)習的算法。目標跟蹤初始發(fā)展階段,國內(nèi)外的研究更多地集中在傳統(tǒng)的跟蹤算法中,如光流法[6]、卡爾曼濾波[7][8]、粒子濾波[9]、Mean-Shift[10],這些傳統(tǒng)算法需要在考慮尺度不變性、旋轉(zhuǎn)不變性、光照不變性等條件下,進行手工設(shè)計提取(hand-craft)特征,比如紋理、邊緣(Harr_like)、方向梯度直方圖(HistogramofOrientedGradient,HOG)、CN(ColorNames)[11]或者一些更高級的特征,再送入分類器輸出標簽。隨著深度學(xué)習發(fā)展以后,越來越多的人關(guān)注在跟蹤中使用深度學(xué)習的方法,如圖1.2所示,與傳統(tǒng)算法不同的是,深度學(xué)習的方法主要是將圖像輸入深度神經(jīng)網(wǎng)絡(luò),輸出標簽,直接輸出結(jié)果,特征提取和分類同時進行,并且是從原始數(shù)據(jù)中自動化地提取特征,不需要手工設(shè)計特征。所以相較于傳統(tǒng)算法,深度學(xué)習可以做到更好精度,經(jīng)過大數(shù)據(jù)訓(xùn)練過的網(wǎng)絡(luò)模型擁有很強的特征提取能力,同時深度網(wǎng)絡(luò)模型的泛化能力也很優(yōu)秀。圖1.2深度學(xué)習和傳統(tǒng)方法對比圖Figure1.2IllustrationofComparisonbetweenDeepLearningandTraditionalMethods1.2.1傳統(tǒng)目標跟蹤算法根據(jù)目標外觀模型不同,傳統(tǒng)算法可分為生成式模型(GenerativeModel)和判別式模型(DiscriminativeModel)兩大類。(1)生成式跟蹤方法基于生成式模型的跟蹤方法可被描述為:首先對目標外觀進行建模,得到目標的外觀特征表達,在圖像的搜索區(qū)域進行特征模型匹配,輸出匹配度最高的區(qū)域,即完成了目標的識別定位。生成式模型目標表示可分為兩類[14]:基于線性子空間的目標表示方法和稀疏編碼。
6(RegionProposalNetworks,RPN)[25]來對bonding-box進行回歸,提高跟蹤定位的精度。目標跟蹤領(lǐng)域中大多深度神經(jīng)網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)來作為特征提取網(wǎng)絡(luò),本文所研究的算法即采用卷積神經(jīng)網(wǎng)絡(luò)。(2)RNN-based算法CNN是一種前饋神經(jīng)網(wǎng)絡(luò),信息從輸入層,通過隱藏層到輸出層,只進行單向移動。循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一種專門用來處理時間序列的數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。由圖1.3可以看到,每一個隱藏層的輸入不僅包含了輸入層的輸入,也包含了上一個隱藏層的信息輸入,使得RNN網(wǎng)絡(luò)可以擁有記憶的功能。在隱藏層有一個箭頭表示數(shù)據(jù)的循環(huán)更新,這個就是實現(xiàn)時間記憶功能的方法。圖1.3RNN網(wǎng)絡(luò)結(jié)構(gòu)Figure1.3IllustrationofRNN目標跟蹤的圖像序列具有時間上的關(guān)聯(lián)性,而RNN網(wǎng)絡(luò)用來處理這種時間序列非常合適,但是此網(wǎng)絡(luò)容易出現(xiàn)梯度消失或者梯度爆炸的問題,梯度消失主要是由于時間過長而造成記憶值較小的現(xiàn)象。為解決梯度消失和梯度爆炸的問題,后出現(xiàn)了改進算法LSTM(LongShortTermMemory,長短期記憶網(wǎng)絡(luò))[26]和GRU(GateRecurrentUnit,門控循環(huán)單元)[27]。LSTM引入了輸入門、遺忘門以及輸出門三個門結(jié)構(gòu)和一個內(nèi)部記憶單元,輸入門控制當前計算的新狀態(tài)以多大程度更新到記憶單元中;遺忘門控制前一步記憶單元中的信息有多大程度被遺忘掉;輸出門控制當前的輸出有多大程度上取決于當前的記憶單元。GRU是2014年提出的一種LSTM改進算法.它將遺忘門和輸入門合并成為一個單一的更新門,同時合并了數(shù)據(jù)單元狀態(tài)和隱藏狀態(tài),使得模型結(jié)構(gòu)比之于LSTM更為簡單。
【參考文獻】:
期刊論文
[1]Optimal Neuro-Control Strategy for Nonlinear Systems With Asymmetric Input Constraints[J]. Xiong Yang,Bo Zhao. IEEE/CAA Journal of Automatica Sinica. 2020(02)
[2]基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的目標跟蹤算法綜述[J]. 陳云芳,吳懿,張偉. 計算機工程與應(yīng)用. 2020(06)
[3]基于卷積網(wǎng)絡(luò)的目標跟蹤應(yīng)用研究[J]. 趙春梅,陳忠碧,張建林. 光電工程. 2020(01)
[4]基于時空采樣網(wǎng)絡(luò)的相關(guān)濾波目標跟蹤算法[J]. 謝潁曉,蔡敬菊,張建林. 國外電子測量技術(shù). 2020(01)
[5]基于智能駕駛的動態(tài)目標跟蹤研究[J]. 張晶晶,楊鵬,劉元盛,梁軍. 計算機工程. 2018(07)
[6]目標跟蹤算法綜述[J]. 盧湖川,李佩霞,王棟. 模式識別與人工智能. 2018(01)
[7]基于深度學(xué)習的目標跟蹤方法研究現(xiàn)狀與展望[J]. 羅海波,許凌云,惠斌,常錚. 紅外與激光工程. 2017(05)
[8]基于生成式模型的目標跟蹤方法綜述[J]. 朱文青,劉艷,卞樂,張子龍. 微處理機. 2017(01)
博士論文
[1]基于上下文信息的視頻目標跟蹤問題研究[D]. 陳紫晶.華中科技大學(xué) 2019
碩士論文
[1]基于目標表征學(xué)習和更新建模的視頻跟蹤技術(shù)研究[D]. 黃江雷.中國科學(xué)技術(shù)大學(xué) 2019
[2]基于多無人機協(xié)同的多視角目標跟蹤算法的研究[D]. 劉偉.杭州電子科技大學(xué) 2018
本文編號:3109200
【文章來源】:中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所)四川省
【文章頁數(shù)】:82 頁
【學(xué)位級別】:碩士
【部分圖文】:
目標跟蹤示意圖
31.2國內(nèi)外研究現(xiàn)狀一般來說,關(guān)于目標跟蹤的算法被分為兩類:傳統(tǒng)算法和基于深度學(xué)習的算法。目標跟蹤初始發(fā)展階段,國內(nèi)外的研究更多地集中在傳統(tǒng)的跟蹤算法中,如光流法[6]、卡爾曼濾波[7][8]、粒子濾波[9]、Mean-Shift[10],這些傳統(tǒng)算法需要在考慮尺度不變性、旋轉(zhuǎn)不變性、光照不變性等條件下,進行手工設(shè)計提取(hand-craft)特征,比如紋理、邊緣(Harr_like)、方向梯度直方圖(HistogramofOrientedGradient,HOG)、CN(ColorNames)[11]或者一些更高級的特征,再送入分類器輸出標簽。隨著深度學(xué)習發(fā)展以后,越來越多的人關(guān)注在跟蹤中使用深度學(xué)習的方法,如圖1.2所示,與傳統(tǒng)算法不同的是,深度學(xué)習的方法主要是將圖像輸入深度神經(jīng)網(wǎng)絡(luò),輸出標簽,直接輸出結(jié)果,特征提取和分類同時進行,并且是從原始數(shù)據(jù)中自動化地提取特征,不需要手工設(shè)計特征。所以相較于傳統(tǒng)算法,深度學(xué)習可以做到更好精度,經(jīng)過大數(shù)據(jù)訓(xùn)練過的網(wǎng)絡(luò)模型擁有很強的特征提取能力,同時深度網(wǎng)絡(luò)模型的泛化能力也很優(yōu)秀。圖1.2深度學(xué)習和傳統(tǒng)方法對比圖Figure1.2IllustrationofComparisonbetweenDeepLearningandTraditionalMethods1.2.1傳統(tǒng)目標跟蹤算法根據(jù)目標外觀模型不同,傳統(tǒng)算法可分為生成式模型(GenerativeModel)和判別式模型(DiscriminativeModel)兩大類。(1)生成式跟蹤方法基于生成式模型的跟蹤方法可被描述為:首先對目標外觀進行建模,得到目標的外觀特征表達,在圖像的搜索區(qū)域進行特征模型匹配,輸出匹配度最高的區(qū)域,即完成了目標的識別定位。生成式模型目標表示可分為兩類[14]:基于線性子空間的目標表示方法和稀疏編碼。
6(RegionProposalNetworks,RPN)[25]來對bonding-box進行回歸,提高跟蹤定位的精度。目標跟蹤領(lǐng)域中大多深度神經(jīng)網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)來作為特征提取網(wǎng)絡(luò),本文所研究的算法即采用卷積神經(jīng)網(wǎng)絡(luò)。(2)RNN-based算法CNN是一種前饋神經(jīng)網(wǎng)絡(luò),信息從輸入層,通過隱藏層到輸出層,只進行單向移動。循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一種專門用來處理時間序列的數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。由圖1.3可以看到,每一個隱藏層的輸入不僅包含了輸入層的輸入,也包含了上一個隱藏層的信息輸入,使得RNN網(wǎng)絡(luò)可以擁有記憶的功能。在隱藏層有一個箭頭表示數(shù)據(jù)的循環(huán)更新,這個就是實現(xiàn)時間記憶功能的方法。圖1.3RNN網(wǎng)絡(luò)結(jié)構(gòu)Figure1.3IllustrationofRNN目標跟蹤的圖像序列具有時間上的關(guān)聯(lián)性,而RNN網(wǎng)絡(luò)用來處理這種時間序列非常合適,但是此網(wǎng)絡(luò)容易出現(xiàn)梯度消失或者梯度爆炸的問題,梯度消失主要是由于時間過長而造成記憶值較小的現(xiàn)象。為解決梯度消失和梯度爆炸的問題,后出現(xiàn)了改進算法LSTM(LongShortTermMemory,長短期記憶網(wǎng)絡(luò))[26]和GRU(GateRecurrentUnit,門控循環(huán)單元)[27]。LSTM引入了輸入門、遺忘門以及輸出門三個門結(jié)構(gòu)和一個內(nèi)部記憶單元,輸入門控制當前計算的新狀態(tài)以多大程度更新到記憶單元中;遺忘門控制前一步記憶單元中的信息有多大程度被遺忘掉;輸出門控制當前的輸出有多大程度上取決于當前的記憶單元。GRU是2014年提出的一種LSTM改進算法.它將遺忘門和輸入門合并成為一個單一的更新門,同時合并了數(shù)據(jù)單元狀態(tài)和隱藏狀態(tài),使得模型結(jié)構(gòu)比之于LSTM更為簡單。
【參考文獻】:
期刊論文
[1]Optimal Neuro-Control Strategy for Nonlinear Systems With Asymmetric Input Constraints[J]. Xiong Yang,Bo Zhao. IEEE/CAA Journal of Automatica Sinica. 2020(02)
[2]基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的目標跟蹤算法綜述[J]. 陳云芳,吳懿,張偉. 計算機工程與應(yīng)用. 2020(06)
[3]基于卷積網(wǎng)絡(luò)的目標跟蹤應(yīng)用研究[J]. 趙春梅,陳忠碧,張建林. 光電工程. 2020(01)
[4]基于時空采樣網(wǎng)絡(luò)的相關(guān)濾波目標跟蹤算法[J]. 謝潁曉,蔡敬菊,張建林. 國外電子測量技術(shù). 2020(01)
[5]基于智能駕駛的動態(tài)目標跟蹤研究[J]. 張晶晶,楊鵬,劉元盛,梁軍. 計算機工程. 2018(07)
[6]目標跟蹤算法綜述[J]. 盧湖川,李佩霞,王棟. 模式識別與人工智能. 2018(01)
[7]基于深度學(xué)習的目標跟蹤方法研究現(xiàn)狀與展望[J]. 羅海波,許凌云,惠斌,常錚. 紅外與激光工程. 2017(05)
[8]基于生成式模型的目標跟蹤方法綜述[J]. 朱文青,劉艷,卞樂,張子龍. 微處理機. 2017(01)
博士論文
[1]基于上下文信息的視頻目標跟蹤問題研究[D]. 陳紫晶.華中科技大學(xué) 2019
碩士論文
[1]基于目標表征學(xué)習和更新建模的視頻跟蹤技術(shù)研究[D]. 黃江雷.中國科學(xué)技術(shù)大學(xué) 2019
[2]基于多無人機協(xié)同的多視角目標跟蹤算法的研究[D]. 劉偉.杭州電子科技大學(xué) 2018
本文編號:3109200
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3109200.html
最近更新
教材專著