隨著人工智能的發(fā)展,計算機視覺和自然語言處理交叉領(lǐng)域的研究逐漸引起科研工作者們的興趣,指稱表達(dá)理解（Referring Expression Comprehension,REC）就是其中之一。指稱表達(dá)（Referring Expression）是指描述場景中某個特定物體的自然語言表達(dá),例如“穿著藍(lán)色衣服的人”、“在桌子上的蘋果”等等。REC任務(wù)要求算法能夠在給定的圖像中定位指稱表達(dá)所描述的物體。目前的REC方法都假設(shè)指稱表達(dá)所描述的物體一定存在于圖像中,沒有判斷指稱表達(dá)與圖像是否匹配。然而,在實際應(yīng)用場景中該假設(shè)是不成立的。例如,有視力障礙的用戶命令他的REC機器人“請把桌上的筆記本電腦拿給我”,但實際在桌子上的是其他物體。因此,若不匹配的指稱表達(dá)與圖像作為目前REC方法的輸入,則其會輸出錯誤的定位結(jié)果。針對上述問題,本文的主要研究內(nèi)容如下:本文在第三章和第四章提出了模塊化REC方法來解決上述問題,模塊化REC方法能夠判斷指稱表達(dá)與圖像是否匹配,如果判斷指稱表達(dá)與圖像匹配則在圖像中定位指稱表達(dá)所描述的物體,如果判斷指稱表達(dá)與圖像失配則生成文本反饋來解釋失配的具體原因。模塊化REC方法分... 

【文章來源】：天津工業(yè)大學(xué)天津市

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

指稱表達(dá)理解（REC）任務(wù)介紹

目前REC方法缺少對指稱表達(dá)與圖像匹配檢測出現(xiàn)的問題以及本文方法的優(yōu)勢那么為什么目前的REC方法沒有考慮指稱表達(dá)與圖像的匹配性，本文研究

REC任務(wù)和REG任務(wù)的區(qū)別和聯(lián)系近幾年，隨著計算機視覺和自然語言處理交叉領(lǐng)域的發(fā)展，REC已經(jīng)成為獨


本文編號：3216798