隨著人工智能領(lǐng)域的迅猛發(fā)展,人們的研究方向已經(jīng)不僅僅局限于某個(gè)單獨(dú)的領(lǐng)域,而是呈現(xiàn)出一種多學(xué)科、多方向相互交叉的發(fā)展態(tài)勢(shì),比如圖片問(wèn)答、視頻問(wèn)答等等,它們都是將圖像處理與自然語(yǔ)言處理相結(jié)合的產(chǎn)物,特別是圖片問(wèn)答在這幾年已經(jīng)得到了學(xué)術(shù)界的廣泛關(guān)注,然而作為圖片問(wèn)答的延伸,視頻問(wèn)答的研究則略顯不足,其主要原因如下:第一,因?yàn)橐曨l的三維特性導(dǎo)致視頻特征具有更加復(fù)雜且豐富的信息描述,所以視頻特征提取困難;第二,視頻特征和問(wèn)題特征屬于不同模態(tài)下的特征,它們之間很難進(jìn)行有效的交互;第三,模型在進(jìn)行最后答案預(yù)測(cè)的時(shí)候,需要考慮問(wèn)題的全局語(yǔ)義特征,但是傳統(tǒng)的語(yǔ)義特征提取模型時(shí)間復(fù)雜度往往都很高,如何進(jìn)一步降低特征提取的時(shí)間復(fù)雜度成為了又一大難題。為了解決上述問(wèn)題,本文結(jié)合圖像處理和自然語(yǔ)言處理等相關(guān)領(lǐng)域的知識(shí),提出了以下解決辦法。（1）特征提取:本文從靜態(tài)特征和動(dòng)態(tài)特征這兩個(gè)方面對(duì)視頻的特征進(jìn)行了有效的提取。針對(duì)之前已有模型使用VGG提取靜態(tài)特征和C3D提取動(dòng)態(tài)特征的不足,本文使用全新的組合方式,使用Faster R-CNN對(duì)視頻的靜態(tài)特征進(jìn)行提取,使用P3D對(duì)視頻的動(dòng)態(tài)特征進(jìn)行提取,然后對(duì)提取的視頻... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

構(gòu)圖

多前侸

子、技大學(xué)士學(xué)位文12圖2-3Relu函數(shù)及其導(dǎo)函數(shù)圖2.2卷積神的基本理卷也是仿學(xué)產(chǎn)，LeCun人[11]受上局感受啟發(fā)提出全新型，最早應(yīng)于MNIST手寫數(shù)字別、體機(jī)方向，同時(shí)借助于接和卷權(quán)值共享性，極大減少了型參數(shù)，提儈了型度和化性。CNN構(gòu)主入層、卷層、層、化層、全接層成。（1）入層：以圖作為入為例，將圖化為一個(gè)三像[H,W,C]，其中H代圖儈度，W代圖寬度，C代了圖數(shù)，如果是唁圖，C就于1，如果是RGB彩式下，C就于3。最后將三像作為下一層卷層入。（2）卷層：對(duì)于低分單圖來(lái)，卷操作就當(dāng)于全接操作，因?yàn)榭梢越尤訉訉?duì)整幅圖征提取，但如今儈數(shù)產(chǎn)品來(lái)普及，儈像、多來(lái)多，如果只傳全接，必定會(huì)成參數(shù)巨大、型擬合仈。決辦為借助于CNN具有局接和全局共享性，所以在圖像處中引入卷念。如圖2-4所，圖中顯了卷層中最一分——└器（filter）或叫卷,└器有四個(gè)參數(shù)，分別是、寬、數(shù)和度，└器和寬提前指定，└器數(shù)則當(dāng)前入數(shù)保持一，最后是└器度，它接決定了出單位度。如圖2-5所，卷可以


本文編號(hào)：3289453