單目圖像/視頻深度信息估計(jì)技術(shù)研究
發(fā)布時(shí)間:2021-07-06 11:18
近年來,隨著人工智能技術(shù)的迅猛發(fā)展,自動(dòng)駕駛、3D顯示以及機(jī)器人逐漸走入了人們的視野并開始影響著人們的生活。在上述相關(guān)領(lǐng)域中,如何獲取準(zhǔn)確的場(chǎng)景深度信息成為了研究的重點(diǎn)。當(dāng)前針對(duì)單目圖像/視頻深度估計(jì)任務(wù)的主要方法是通過深度卷積神經(jīng)網(wǎng)絡(luò)(DCNNs)來學(xué)習(xí)彩色圖-深度圖數(shù)據(jù)庫中存在的圖像域信息到深度域信息的映射關(guān)系。但是,當(dāng)前該領(lǐng)域的主流算法存在著如下三個(gè)問題:(1)在單目視頻深度估計(jì)任務(wù)中,將面向圖像的卷積神經(jīng)網(wǎng)絡(luò)模型運(yùn)用到視頻任務(wù)時(shí),預(yù)測(cè)得到的深度圖序列存在嚴(yán)重的時(shí)空不一致問題,影響3D視頻的合成效果。(2)在單目圖像深度估計(jì)任務(wù)中,當(dāng)前的模型無法通過一套模型參數(shù)適應(yīng)室內(nèi)室外不同的場(chǎng)景,限制了模型的實(shí)用性與魯棒性。(3)當(dāng)前的單目深度估計(jì)網(wǎng)絡(luò)模型具有較大的存儲(chǔ)消耗以及計(jì)算消耗,限制了模型在移動(dòng)端設(shè)備上的使用。本文針對(duì)上述三個(gè)問題分別提出了有效的解決方案。針對(duì)單目視頻深度估計(jì)任務(wù),本文提出了一種循環(huán)條件隨機(jī)場(chǎng)網(wǎng)絡(luò)模型。該模型將時(shí)空條件隨機(jī)場(chǎng)與常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合,能夠有效地構(gòu)建深度序列中存在的時(shí)空依賴關(guān)系,保證了預(yù)測(cè)結(jié)果的準(zhǔn)確性與時(shí)空一致性。針對(duì)多場(chǎng)景類別單目深度估計(jì)任務(wù),本文...
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:96 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
全連接條件隨機(jī)場(chǎng)
圖 2-4 循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖-4 所示,箭頭的左邊為一個(gè)標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)的循環(huán)單元該單元依次處理每一個(gè)時(shí)間節(jié)點(diǎn)的數(shù)據(jù)。因此,序列數(shù)據(jù)的邊的形式。第 t 時(shí)刻模型的輸入,ts 表示第 t 時(shí)刻模型內(nèi)部的記憶狀態(tài),出結(jié)果。當(dāng)面對(duì)一個(gè)新的數(shù)據(jù)t1x+,模型首先依據(jù)之前的狀新模型內(nèi)部的狀態(tài):( )t 1t ts f U x W s+= + 。然后基于輸出結(jié)果:( )1 1maxt to soft Vs+ += 。過程中,有兩點(diǎn)是值得注意的:(1)當(dāng)處理序列數(shù)據(jù)時(shí),每數(shù)是共用的;(2)當(dāng)處理序列數(shù)據(jù)時(shí),過往的有效信息會(huì)被
按照光流中圖像灰度短時(shí)不變性搭建基本光流方程。設(shè) L ( x , y , t )代表在t時(shí)刻像素點(diǎn)( x, y )的照度,設(shè) u ( x , y )和 v ( x , y )分別表示光流在該像素點(diǎn)水平與豎直的位移分量。當(dāng)t + dt時(shí),像素點(diǎn)( x , y )移動(dòng)到( x + u , y + v)位置。根據(jù)運(yùn)動(dòng)前后像素點(diǎn)照度相同的假設(shè),得到前后兩幀存在的關(guān)系如下: L ( x , y , t ) = L ( x + u , y + v , t + dt)。通過對(duì)該式子進(jìn)行求解,即可得到t時(shí)刻圖像上各個(gè)像素點(diǎn)的運(yùn)動(dòng)情況。本文采取文獻(xiàn)[43]中基于深度學(xué)習(xí)的光流算法,來估算場(chǎng)景中每一個(gè)像素點(diǎn)的運(yùn)動(dòng)軌跡。在圖 2-5 中,依次是當(dāng)前幀的彩色圖、后一幀的彩色圖以及當(dāng)前幀的光流運(yùn)動(dòng)圖。從圖中可以發(fā)現(xiàn),光流圖很好地反映了當(dāng)前幀圖像中各個(gè)像素點(diǎn)的運(yùn)動(dòng)情況。此外,光流圖中包含的各個(gè)像素點(diǎn)水平與豎直位移可以用來計(jì)算前后兩幀上各個(gè)像素點(diǎn)的坐標(biāo)對(duì)應(yīng)關(guān)系。基于該坐標(biāo)對(duì)應(yīng)關(guān)系,可以自然地建立前后兩幀的時(shí)域連接,這對(duì)于增強(qiáng)預(yù)測(cè)結(jié)果的時(shí)域連續(xù)性至關(guān)重要。
本文編號(hào):3268140
【文章來源】:華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:96 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
全連接條件隨機(jī)場(chǎng)
圖 2-4 循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖-4 所示,箭頭的左邊為一個(gè)標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)的循環(huán)單元該單元依次處理每一個(gè)時(shí)間節(jié)點(diǎn)的數(shù)據(jù)。因此,序列數(shù)據(jù)的邊的形式。第 t 時(shí)刻模型的輸入,ts 表示第 t 時(shí)刻模型內(nèi)部的記憶狀態(tài),出結(jié)果。當(dāng)面對(duì)一個(gè)新的數(shù)據(jù)t1x+,模型首先依據(jù)之前的狀新模型內(nèi)部的狀態(tài):( )t 1t ts f U x W s+= + 。然后基于輸出結(jié)果:( )1 1maxt to soft Vs+ += 。過程中,有兩點(diǎn)是值得注意的:(1)當(dāng)處理序列數(shù)據(jù)時(shí),每數(shù)是共用的;(2)當(dāng)處理序列數(shù)據(jù)時(shí),過往的有效信息會(huì)被
按照光流中圖像灰度短時(shí)不變性搭建基本光流方程。設(shè) L ( x , y , t )代表在t時(shí)刻像素點(diǎn)( x, y )的照度,設(shè) u ( x , y )和 v ( x , y )分別表示光流在該像素點(diǎn)水平與豎直的位移分量。當(dāng)t + dt時(shí),像素點(diǎn)( x , y )移動(dòng)到( x + u , y + v)位置。根據(jù)運(yùn)動(dòng)前后像素點(diǎn)照度相同的假設(shè),得到前后兩幀存在的關(guān)系如下: L ( x , y , t ) = L ( x + u , y + v , t + dt)。通過對(duì)該式子進(jìn)行求解,即可得到t時(shí)刻圖像上各個(gè)像素點(diǎn)的運(yùn)動(dòng)情況。本文采取文獻(xiàn)[43]中基于深度學(xué)習(xí)的光流算法,來估算場(chǎng)景中每一個(gè)像素點(diǎn)的運(yùn)動(dòng)軌跡。在圖 2-5 中,依次是當(dāng)前幀的彩色圖、后一幀的彩色圖以及當(dāng)前幀的光流運(yùn)動(dòng)圖。從圖中可以發(fā)現(xiàn),光流圖很好地反映了當(dāng)前幀圖像中各個(gè)像素點(diǎn)的運(yùn)動(dòng)情況。此外,光流圖中包含的各個(gè)像素點(diǎn)水平與豎直位移可以用來計(jì)算前后兩幀上各個(gè)像素點(diǎn)的坐標(biāo)對(duì)應(yīng)關(guān)系。基于該坐標(biāo)對(duì)應(yīng)關(guān)系,可以自然地建立前后兩幀的時(shí)域連接,這對(duì)于增強(qiáng)預(yù)測(cè)結(jié)果的時(shí)域連續(xù)性至關(guān)重要。
本文編號(hào):3268140
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3268140.html
最近更新
教材專著