【摘要】：自動(dòng)問(wèn)答系統(tǒng)能夠根據(jù)用戶輸入的自然語(yǔ)言問(wèn)題,直接返回精確的答案。本文的研究方向是基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng),其特點(diǎn)是背后的數(shù)據(jù)源是非結(jié)構(gòu)化的文檔庫(kù),面向的問(wèn)題是通用問(wèn)題,并不局限于某個(gè)領(lǐng)域。典型的基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng)一般由問(wèn)題處理模塊、文檔處理模塊和答案處理模塊三個(gè)部分組成,其主要存在兩個(gè)問(wèn)題,第一是文檔處理模塊返回的段落候選集規(guī)模過(guò)大導(dǎo)致答案處理模塊準(zhǔn)確率降低。第二是基于規(guī)則的答案抽取過(guò)于繁瑣,靈活性差。針對(duì)第一個(gè)問(wèn)題,本文使用句子篩選和句子排序模塊將段落候選集縮減為單個(gè)的答案句子。針對(duì)第二個(gè)問(wèn)題,本文使用了端到端的深度神經(jīng)網(wǎng)絡(luò)模型代替?zhèn)鹘y(tǒng)的基于規(guī)則的答案抽取算法。針對(duì)句子篩選模塊,本文改進(jìn)了一種計(jì)算文檔相似度的算法Word Mover's Distance(WMD),并提出了一種將BM25和WMD結(jié)合的混合模型。本文分別進(jìn)行了文檔分類和文本排序?qū)嶒?yàn)。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的WMD算法和混合模型比其他基準(zhǔn)算法有更好的效果。針對(duì)句子排序模塊,本文設(shè)計(jì)了五種特征來(lái)衡量問(wèn)句和候選答案句子之間的相關(guān)性,并以此相關(guān)性得分對(duì)候選答案句子進(jìn)行排序。這些特征包含了不同的級(jí)別。該模型稱為Multiple Level Feature Rank(MLFR)模型。本文測(cè)試并對(duì)比了若干基于深度神經(jīng)網(wǎng)絡(luò)的句子排序模型。實(shí)驗(yàn)結(jié)果表明,MLFR模型有更好的排序效果。最后,本文引入了一個(gè)端到端的深度神經(jīng)網(wǎng)絡(luò)模型用于答案抽取,并將此模型與前面的句子篩選和句子排序模塊組合在一起,設(shè)計(jì)實(shí)驗(yàn)進(jìn)行了整體的性能評(píng)估。本文對(duì)典型的基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng)中存在的問(wèn)題提出了相應(yīng)的解決方案,改進(jìn)了計(jì)算文檔相似度的相關(guān)算法,提出了一種基于多級(jí)特征的句子排序模型(MLFR),同時(shí)引入了一種端到端深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行答案抽取。實(shí)驗(yàn)結(jié)果表明,本文的解決方案是行之有效的。
[Abstract]:The automatic question answering system can return the exact answer directly according to the user input natural language question. The research direction of this paper is an open domain automatic question answering system based on unstructured documents. Its characteristic is that the data source behind it is an unstructured document library, and the problem oriented is a general problem, which is not limited to a certain field. A typical open domain question answering system based on unstructured documents is generally composed of three parts: question processing module, document processing module and answer processing module. There are two main problems in the system. The first is that the size of the paragraph candidate set returned by the document processing module is too large to reduce the accuracy of the answer processing module. The second is that the rule-based answer extraction is too cumbersome and inflexible. For the first question, this paper uses sentence filter and sentence sorting module to reduce the candidate set of paragraphs to a single answer sentence. To solve the second problem, the end-to-end depth neural network model is used to replace the traditional rule-based answer extraction algorithm. For sentence filtering module, this paper improves a document similarity algorithm, Word Mover's Distance (WMD), and proposes a hybrid model combining BM25 and WMD. The experiments of document classification and text sorting are carried out in this paper. Experimental results show that the improved WMD algorithm and the hybrid model are more effective than other benchmark algorithms. For sentence sorting module, this paper designs five features to measure the correlation between question sentence and candidate answer sentence, and sorts the candidate answer sentence with this correlation score. These features include different levels. This model is called Multiple Level Feature Rank (MLFR) model. This paper tests and compares some sentence ordering models based on depth neural network. The experimental results show that the MLFR model has better sorting effect. Finally, this paper introduces an end-to-end deep neural network model for answer extraction, and combines the model with the previous sentence filter and sentence sorting modules, and designs the experiment to evaluate the overall performance of the model. In this paper, we propose a solution to the problems in a typical open domain automatic question answering system based on unstructured documents, and improve the algorithm of calculating document similarity. In this paper, a sentence sorting model based on multilevel features, (MLFR), is proposed, and an end-to-end depth neural network is introduced to extract the answers. The experimental results show that the solution is effective.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.1

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄭實(shí)福,劉挺,秦兵,李生;自動(dòng)問(wèn)答綜述[J];中文信息學(xué)報(bào);2002年06期

2 蘇芳仲;林世平;;基于事例推理的中文自動(dòng)問(wèn)答系統(tǒng)研究[J];福建電腦;2006年06期

3 劉里;曾慶田;;自動(dòng)問(wèn)答系統(tǒng)研究綜述[J];山東科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年04期

4 孔令玉;;國(guó)外跨語(yǔ)言自動(dòng)問(wèn)答系統(tǒng)研究綜述[J];現(xiàn)代情報(bào);2008年10期

5 王婧;;基于自動(dòng)問(wèn)答技術(shù)的智能文本機(jī)器人[J];科技創(chuàng)業(yè)家;2013年08期

6 盧炳衛(wèi);;關(guān)于自動(dòng)問(wèn)答技術(shù)的研究[J];農(nóng)業(yè)圖書情報(bào)學(xué)刊;2006年01期

7 夏凌;魏祖雪;;自動(dòng)問(wèn)答系統(tǒng)及其評(píng)測(cè)(英文)[J];西華大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

8 黃建崗;張愛(ài)華;;教務(wù)門戶網(wǎng)自動(dòng)問(wèn)答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2009年36期

9 駱正華,樊孝忠,夏天;基于結(jié)構(gòu)化問(wèn)句實(shí)例的自動(dòng)問(wèn)答系統(tǒng)[J];微電子學(xué)與計(jì)算機(jī);2005年07期

10 李照亮;張琳;;基于招生領(lǐng)域自動(dòng)問(wèn)答系統(tǒng)的問(wèn)題理解的研究[J];電腦知識(shí)與技術(shù);2009年10期

相關(guān)會(huì)議論文 前3條

1 高俊杰;李茹;李雙紅;;基于領(lǐng)域本體的自動(dòng)問(wèn)答系統(tǒng)關(guān)鍵技術(shù)研究[A];中國(guó)計(jì)算機(jī)語(yǔ)言學(xué)研究前沿進(jìn)展（2007-2009）[C];2009年

2 張耀允;王曉龍;王軒;徐睿峰;侯永帥;范士喜;;面向開放的限定領(lǐng)域的交互式問(wèn)答語(yǔ)料分析[A];中國(guó)計(jì)算語(yǔ)言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

3 劉國(guó)剛;;人工智能客戶服務(wù)體系的研究與實(shí)現(xiàn)[A];2008年中國(guó)通信學(xué)會(huì)無(wú)線及移動(dòng)通信委員會(huì)學(xué)術(shù)年會(huì)論文集[C];2008年

相關(guān)博士學(xué)位論文 前2條

1 于士濤;基于問(wèn)答網(wǎng)絡(luò)論壇知識(shí)體系的自動(dòng)問(wèn)答系統(tǒng)研究[D];南開大學(xué);2009年

2 胡國(guó)平;基于超大規(guī)模問(wèn)答對(duì)庫(kù)和語(yǔ)音界面的非受限領(lǐng)域自動(dòng)問(wèn)答系統(tǒng)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 吳安峻;面向自動(dòng)問(wèn)答的短問(wèn)題分類研究[D];西南交通大學(xué);2015年

2 王正華;自動(dòng)問(wèn)答系統(tǒng)的研究與實(shí)現(xiàn)[D];西南科技大學(xué);2015年

3 舒德華;基于Scrapy爬取電商平臺(tái)數(shù)據(jù)及自動(dòng)問(wèn)答系統(tǒng)的構(gòu)建[D];華中師范大學(xué);2016年

4 趙潔;基于搜索引擎的中文自動(dòng)問(wèn)答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2016年

5 魏婷婷;政務(wù)通統(tǒng)一互動(dòng)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];江西農(nóng)業(yè)大學(xué);2016年

6 趙龍;英文自動(dòng)問(wèn)答系統(tǒng)中數(shù)值型問(wèn)句的理解研究[D];大連海事大學(xué);2016年

7 蔡亞林;自動(dòng)問(wèn)答系統(tǒng)中數(shù)值型答案整合研究[D];大連海事大學(xué);2016年

8 溫思琦;基于本體的中醫(yī)冠心病自動(dòng)問(wèn)答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];沈陽(yáng)工業(yè)大學(xué);2017年

9 徐燦;基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng)技術(shù)研究[D];浙江大學(xué);2017年

10 王振佶;面向銷售服務(wù)的自動(dòng)問(wèn)答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

，

本文編號(hào)：2380242