視頻問答是深度學習中重要的問題之一,被廣泛應用于安防、廣告系統(tǒng)中,提高視頻問答的準確率具有非常重要的意義。近年來,理解視頻的內(nèi)容是在現(xiàn)實世界中開發(fā)各種有用應用程序的核心技術(shù)之一,例如識別監(jiān)視系統(tǒng)的各種人為行為或在自動商店中進行客戶行為分析。然而,由于其龐大的數(shù)據(jù)量和復雜的時間結(jié)構(gòu),理解視頻的內(nèi)容仍然是一個具有挑戰(zhàn)性的任務。近年來,自然語言處理中注意力機制方法得到了人們的關(guān)注,并遷移到視頻問答任務上。但是,現(xiàn)有的方法仍存在四個方面的不足:一是使用對整個視頻進行提取特征,這樣雖然能夠捕捉到視頻的所有信息,但是由于視頻本身的冗余性,訓練代價巨大,得不償失;二是部分現(xiàn)有方法采用了提取片段幀信息試圖來描述視頻,提取過多導致內(nèi)容冗余,提取過少造成內(nèi)容缺失;三是問題的處理比較粗糙,并沒有對停用詞進行處理;四是現(xiàn)有的模型并沒有考慮視頻問答任務復雜性與邏輯性。以上的不足影響了模型的泛化性能,同時由于準確率低使得現(xiàn)有的視頻問答模型不能夠廣泛應用于工業(yè)界。本文在注意力機制框架下,提出了先驗信息注意力機制MASK模型,并在這基礎(chǔ)之上提出了兩種不同的視頻問答方案:先驗MASK的多注意力機制的視頻問答方案和先驗M... 

【文章來源】：江南大學江蘇省 211工程院校 教育部直屬院校

【文章頁數(shù)】：64 頁

【學位級別】：碩士

【部分圖文】：

短視頻公司同時，根據(jù)近兩年的短視頻用戶的活動記錄，如圖1-2所示，短視頻用戶規(guī)

短視頻用戶規(guī)模及其預測

江南大學碩士學位論文2根據(jù)字節(jié)跳動公司抖音產(chǎn)品的短視頻產(chǎn)品鏈，如圖1-3所示。圖1-3字節(jié)跳動短視頻產(chǎn)品鏈可以發(fā)現(xiàn)，視頻內(nèi)容要想能夠獲利，必須要經(jīng)過營銷平臺進入大眾的視野，而內(nèi)容是整個短視頻產(chǎn)品鏈的重點。視頻內(nèi)容需要經(jīng)過人工審核才能進入用戶眼中，然而完全通過人工審核視頻卻是不現(xiàn)實的，如何高效地理解視頻內(nèi)容成為短視頻產(chǎn)品鏈的重中之重。同時，如何從大量信息中篩選出有價值的信息一直是計算機科學家們考慮的問題，單純的靠工作人員來篩選信息幾乎不可能，也不現(xiàn)實。同時網(wǎng)絡上充滿著各種言論，信息的可靠性不能得到保證。面對大量的文本信息，出現(xiàn)了閱讀理解任務。給定一段文本，對該文本的內(nèi)容進行提問，然后閱讀理解任務會給出該問題的答案，從而減少了人們在大量文本中篩選信息的時間。而對于圖像而言，給定一張圖像，提出與圖像內(nèi)容相關(guān)的問題，讓圖像問答任務給出該問題的答案。隨著手機、平板電腦的普及，單純的文本或者圖像已經(jīng)很難滿足人類的需求。而視頻是結(jié)合了圖像以及文本的媒體，相對于圖像或者文本而言，一段短視頻含有的信息量更多。因此社交軟件、新聞軟件等80%是通過短視頻來傳達信息。但是視頻的處理卻不能僅僅將圖像問答以及文本閱讀理解方法簡單遷移過去，原因在于視頻信息具有時間、空間上的維度信息,因此處理起來更加棘手。視頻問答是一種計算機科學中屬于多模態(tài)的機器學習任務，涉及了文本、圖像、音頻等多個媒體。如何將這些信息進行有效地融合成為目前視頻問答任務的重點。視頻問答任務簡單來說，與圖像問答一致，只不過目標不是圖像，而是一段短視頻，通過理解短視頻以及與短視頻相關(guān)的問題，從而得到問題的答案。相對于圖像問答以及閱讀理解而言，視頻問答任務更加具有挑戰(zhàn)性。一方面，視頻?

【參考文獻】：
期刊論文
[1]Video Description with Integrated Visual and Textual Information[J]. Yue Wang,Jinlai Liu,Xiaojie Wang.  中國通信. 2019(01)
[2]神經(jīng)機器翻譯綜述[J]. 李亞超,熊德意,張民.  計算機學報. 2018(12)

碩士論文
[1]基于深度學習方法的視頻問答研究[D]. 梁麗麗.哈爾濱理工大學 2019



本文編號：3501564