近年來,隨著電子商務平臺規(guī)模的不斷擴大,對商家上傳的商品圖像和文本描述信息進行審核,判斷兩者是否匹配,成為一項任務量巨大的工作。目前電子商務平臺信息審核采用人工的方式進行,存在自動化程度低、審核實時性難以保證和資源耗費大等問題。另外,電子商務平臺中的商品信息具有分類細致的特殊性,采用人工審核的方式難以區(qū)分出商品類別之間的細微差距,增加了審核工作的困難。因此,如何有效地對商品圖像和文本描述進行細粒度的標注,判斷圖像文本是否匹配,自動化且實時地完成審核過程是一個具有廣泛應用前景的研究問題。本文從實際的需求出發(fā),提出了一個基于卷積神經網絡與長短期記憶網絡的商品圖像和文本匹配方法。通過利用深度網絡模型的特征提取能力,來對圖像和文本進行標注,解決傳統(tǒng)提取特征后訓練分類器的方法無法實現(xiàn)細粒度分類的問題,自動化地完成商品信息的審核任務。本文的主要研究工作包括:一、提出了一套基于深度網絡模型的圖像和文本匹配框架。不同于傳統(tǒng)的圖像或文本標注方法將特征提取和分類器訓練分為兩個獨立的步驟,該方法通過利用深度網絡模型的特征提取能力,完成端到端的訓練,實現(xiàn)細粒度分類的目標,最后通過類別比較地方式實現(xiàn)圖像文本的匹... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：69 頁

【學位級別】：碩士

【部分圖文】：

商品上架和購買流程

基于圖像識別與文本分類的商品信息匹配系統(tǒng)研究與實現(xiàn)第一，實現(xiàn)對商品圖像和文本描述的細粒度標注。在電子商務平臺中商品分類采用層級的方式展開，對于標注的結果滿足精確到具體子類別的要求，有效地解決人工審核難以區(qū)分細致商品區(qū)別的困難，同時為自動化審核提供基礎。第二，實現(xiàn)對商品圖像和文本描述的自動化審核。通過對圖像和文本的細粒度標注結果進行類別比較，實現(xiàn)計算機自動化審核以取代人工審核的方式，去除過多的需要人為介入的步驟，保證了電子商務平臺運行的自動性。第三，實現(xiàn)對商品圖像和文本描述的實時性審核。在人工審核的方式下上傳信息后需要平臺運營人員在工作時間才能處理，存在滯后性。在實現(xiàn)了自動化審核的基礎上，通過將耗時的模型訓練過程變?yōu)殡x線操作，在線匹配過程只是調用模型，從而實現(xiàn)實時處理。2.2 商品圖像和文本匹配框架本文研究主要圍繞商品圖像和文本自動匹配展開，總體框架如圖 2-2 所示。

基于圖像識別與文本分類的商品信息匹配系統(tǒng)研究與實現(xiàn)為了達到細粒度分類的目的，本文采用的實驗數據集來自斯坦福大學的公開車輛數據集，訓練的模型旨在對于車輛商品圖片的識別效果能夠精確到具體的品牌和型號，也就是不僅知道這是一張車的圖片，還要知道是哪一種車。本文選擇在 Caffe 平臺上實現(xiàn)對模型的訓練，選擇 Caffe 主要是因為它具有以下幾個優(yōu)點1.開源框架，具備了工業(yè)級的代碼健壯性；2.運行速度快，能夠有效處理海量的數據，專精于圖像處理問題。訓練過程前需要首先準備好標明了圖片路徑和對應類別標簽的文件；用于表明模型網絡結構的 prototxt 文件，定義了當前層的類別、名稱以及相關的參數，如卷積核大小等；以及包含了全局參數的配置文件。它們的結構如圖 3-1 所示。

【參考文獻】：
期刊論文
[1]基于卷積神經網絡的商品圖像分類研究[J]. 匡青.  軟件導刊. 2017(02)
[2]基于遞歸神經網絡的文本分類研究[J]. 黃磊,杜昌順.  北京化工大學學報(自然科學版). 2017(01)
[3]基于深度學習混合模型遷移學習的圖像分類[J]. 石祥濱,房雪鍵,張德園,郭忠強.  系統(tǒng)仿真學報. 2016(01)

博士論文
[1]基于特征學習與關鍵詞精化的圖像句子標注研究[D]. 張紅斌.武漢大學 2016

碩士論文
[1]基于貝葉斯網絡的文本分類算法研究[D]. 王沙沙.中國地質大學 2016
[2]基于LSTM的語義關系分類研究[D]. 胡新辰.哈爾濱工業(yè)大學 2015
[3]一種基于SIFT的特征提取在人臉識別算法中的研究[D]. 于祥春.吉林大學 2015



本文編號：3093707