社會的快速進步極大地激發(fā)了智能技術的創(chuàng)新發(fā)展。圖像特征提取技術和文本自動生成技術都受到學術界的極大關注。近年來交叉學科和跨領域的研究受到巨大的青睞,尤其是融合圖像和文本的深度學習研究,即圖像描述生成技術。它是一個涉及自然語言處理和計算機視覺的綜合性研究問題。本文詳細介紹了圖像描述生成技術的研究背景、國內外研究現(xiàn)狀。并從多個角度和方向對常用的圖像描述生成模型進行了分析研究。具體研究內容如下:（1）針對圖像描述的廣度和非相關性問題,設計了一種基于多級注意力的細粒度圖像描述生成方法,以增強特定區(qū)域的圖像描述。首先,利用視覺注意力機制融合圖像全局和局部的細粒度特征。其次,利用聯(lián)合注意力機制融合圖像的視覺特征和標簽特征,生成圖像特定區(qū)域的描述文本。最后,使用基于注意力的長時短期記憶網絡（LSTM）的語言生成模型來生成細粒度的圖像描述語句。實驗證明,該方法能有效地提高圖像描述語句的針對性和準確性。（2）針對以往圖像描述生成模型忽略文本信息特征的問題,設計了一種融合多角度多模態(tài)的圖像描述生成方法。首先,該模型利用全局圖像和局部圖像的特征、利用基本的編解碼模型生成圖像的第一句描述作為輸入;其次,利用句... 

【文章來源】：齊魯工業(yè)大學山東省

【文章頁數】：79 頁

【學位級別】：碩士

【部分圖文】：

神經網絡圖

第2章相關技術研究10首先，先簡要地介紹一下常用神經網絡中單個神經元的工作原理，如下圖2.1所示：圖2.1神經元結構示例其中jx為單個神經元的輸入，ijw為鏈接權重，b為偏置，f為激勵函數，iy為神經元的輸出，則計算公式可表示為：Njjijibxwfy1(2.1)通過單個神經元的信息處理過程，可以推出多個神經元甚至神經網絡模型的信息處理過程。神經網絡模型的構建是通過多個神經元的組合而連接的。當神經網絡的模型建立后，可選擇某種學習方法根據神經網絡的拓撲結構來完成訓練。根據神經網絡的發(fā)展進程，有相關學者提出反向傳播算法（BackPropragation，BP）。在處理小規(guī)模數據集中，它是神經網絡中最有效、最常用的算法之一。Paulwerbos在1974年[36]最早提出BP算法，直到20世紀80年代中期Rumelhart[37]、Hinton等人重新發(fā)現(xiàn)了BP算法的優(yōu)點，才得到了廣泛的應用，并為人們所熟知。BP算法以往被廣泛應用在各個領域，是當時最流行的神經網絡學習算法。圖2.2神經網絡圖

第2章相關技術研究12nnjjbC(2.9)然后設置學習率更新參數，公式如下：njmnjmjwCwwnm(2.10)njnjnjbCbb(2.11)BP神經網絡算法的計算過程如圖2.3所示：圖2.3神經網絡算法框圖雖然BP神經網絡算法具有一定的推廣、概括能力、有很強的自學習能力，適合于解決內部機制復雜的問題。但是BP神經網絡算法學習速度很慢，它要優(yōu)化的目標函數又非常復雜，使BP算法非常低效。另外，BP神經網絡算法是一種局部搜索優(yōu)化算法，極易可能陷入局部最優(yōu)，也容易出現(xiàn)過擬合現(xiàn)象，所以BP神經網絡的應用范圍和發(fā)展?jié)摿褪艿胶艽笙拗�。鑒于BP神經網絡的各項不足，因此，卷積神經逐漸流行起來并成為熱潮。所以鑒于卷積神經網絡的結構非常簡單、局部連接、權值共享等優(yōu)勢，本課題的相關研究采用的就是由卷積神經網絡經過改進后的各類網絡模型。卷積網絡（CNN）主要是卷積核通過卷積運算實現(xiàn)特征向量的變換和提齲它的主要結構包括：輸入層：輸入層的神經元主要是處理輸入的每個像素，所以數量和輸入圖像

【參考文獻】：
期刊論文
[1]HDFS存儲和優(yōu)化技術研究綜述[J]. 金國棟,卞昊穹,陳躍國,杜小勇.  軟件學報. 2020(01)
[2]基于多注意力多尺度特征融合的圖像描述生成算法[J]. 陳龍杰,張鈺,張玉梅,吳曉軍.  計算機應用. 2019(02)
[3]云計算中Hadoop技術研究與應用綜述[J]. 夏靖波,韋澤鯤,付凱,陳珍.  計算機科學. 2016(11)
[4]基于自動編碼器組合的深度學習優(yōu)化方法[J]. 鄧俊鋒,張曉龍.  計算機應用. 2016(03)
[5]近年來Hadoop國外研究綜述[J]. 王彥明,奉國和,薛云.  計算機系統(tǒng)應用. 2013(06)
[6]基于關鍵詞的圖像標注綜述[J]. 郭喬進,丁軼,李寧.  計算機工程與應用. 2011(30)
[7]基于Hadoop平臺的海量文本分類的并行化[J]. 向小軍,高陽,商琳,楊育彬.  計算機科學. 2011(10)

碩士論文
[1]基于多尺度卷積神經網絡的圖像分類算法研究[D]. 呂朦.湖北工業(yè)大學 2019
[2]圖像描述文本自動生成方法研究[D]. 申永飛.重慶大學 2017
[3]面向圖像描述的深度神經網絡模型研究[D]. 陳強普.重慶大學 2017
[4]圖像標注算法研究及其在Hadoop平臺上的實現(xiàn)[D]. 張愷.武漢理工大學 2017
[5]基于Hadoop的混合神經網絡計算平臺研究與實現(xiàn)[D]. 羅練海.華南理工大學 2016
[6]基于深度學習的短信分類技術研究[D]. 王婷.長安大學 2016
[7]云計算環(huán)境的數據存儲管控技術研究[D]. 呂培培.北方工業(yè)大學 2013
[8]新聞圖像內容與字幕文本協(xié)同識別與檢索方法研究[D]. 康瑩瑩.哈爾濱工業(yè)大學 2012



本文編號：3508545