問答系統(tǒng)是自然語言處理(Natural Language Processing,NLP)領(lǐng)域重要的一個分支,自“圖靈測試”的提出至今,實現(xiàn)問答系統(tǒng)的算法和框架多種多樣,大致的實現(xiàn)流程為構(gòu)建數(shù)據(jù)集、文本特征提取、問題分類、問句分析、信息檢索、語句匹配、抽取或者生成答案。每個步驟都有很多種算法或方法進行實現(xiàn),如文本體征提取有基于概率統(tǒng)計的、有基于向量空間的、有基于神經(jīng)網(wǎng)絡(luò)的等;問句分類有樸素貝葉斯、支持向量機、決策樹、KNN等;信息檢索有數(shù)據(jù)庫查詢語言、MultiText算法、IBM的算法、SiteQ算法、哈希函數(shù)等。在具體的實現(xiàn)過程中,根據(jù)使用不同的算法和應(yīng)用場景,有些步驟會被簡化或者過濾,本文在標注型數(shù)據(jù)集的基礎(chǔ)上構(gòu)建出一個基于詞向量和CNN輕量級問答系統(tǒng),主要工作如下:1.選取三種不同的語料庫和三種維度(30維,60維,90維)訓(xùn)練出多個詞向量模型,經(jīng)過不同的對比實驗,尋找出最適合本文CNN模型的詞向量。2.CNN運用于自然語言處理的傳統(tǒng)方法是通過CNN對問句和答句分別提取文本特征,然后使用余弦值或者歐氏距離來匹配兩句話的語義相似度。為了保留更加完整的原始語義,本文采取問句和答句原始...

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-2改進的結(jié)構(gòu)化問答系統(tǒng)

于關(guān)鍵詞技術(shù)數(shù)據(jù)形式的問答系統(tǒng)對于語句要求具有多種表達方式，為了解決這一問題，基于一個或多個關(guān)鍵詞可以代表整個語句的對關(guān)鍵詞進行檢索，這樣可以解決結(jié)構(gòu)技術(shù)的方式有兩種：第一種是在結(jié)構(gòu)化工標注和抽取，進行信息檢索時也會出現(xiàn)行篩選，顯然這種方式耗時又費力；第練，訓(xùn)練過程中會過濾掉停用....

圖2-3關(guān)鍵詞問答系統(tǒng)結(jié)構(gòu)圖

圖2-3關(guān)鍵詞問答系統(tǒng)結(jié)構(gòu)圖優(yōu)點：以關(guān)鍵詞來代替整個語句的語義可以加快系統(tǒng)的運行效率也解決了結(jié)構(gòu)化問答的笨重問題；使用以詞袋模型為基礎(chǔ)的形式可以直接對語句進行關(guān)鍵詞抽取，并且解結(jié)構(gòu)化問答系統(tǒng)人工標注的的問題。缺點：詞袋模型使基于概率統(tǒng)計的，所有的詞匯和語句并沒有象現(xiàn)實生活中的....

圖2-4語義問答系統(tǒng)結(jié)構(gòu)圖

圖2-4語義問答系統(tǒng)結(jié)構(gòu)圖點：語義問答系統(tǒng)在準確率方面比關(guān)鍵詞問答系統(tǒng)高很多；關(guān)鍵詞問答系統(tǒng)采用存儲詞匯和語句，語義問答系統(tǒng)采用分布式稠密向量存儲詞匯或語句，這樣可以要的空間浪費也可以提升運算效率；語義問答系統(tǒng)可以兼容關(guān)鍵詞問答系統(tǒng)。點：語義問答系統(tǒng)的訓(xùn)練時間會更長；目前語義....

圖2-5LSA奇異值分解示意圖

圖2-5LSA奇異值分解示意圖是詞袋模型的延伸，既可以使用詞袋模型直接訓(xùn)練LSA，也上訓(xùn)練LSA。一般來說直接使用TF-IDF模型來訓(xùn)練LSA得到，本文采用2.1小節(jié)生成TF-IDF模型進行LSA生成，使用models.LsiModel()函數(shù)生....

本文編號：3923268