問答技術是目前自然語言處理領域中一個倍受關注并具有廣泛發(fā)展前景的研究方向,它旨在構建一個能夠自動回答人類用自然語言提出的問句的系統(tǒng)——問答系統(tǒng)。在調查研究中,本課題發(fā)現(xiàn)當前許多問答系統(tǒng)僅具備回答簡單問句（如“中國的國慶節(jié)是什么時候?”）的能力,而對于比較復雜的問句（如“姚明的身高和體重是什么?”“姚明女兒的身高是多少”）無法有效理解和回答。本文認為許多復雜的問句中存在多個問題的復合,可以被分解為問答系統(tǒng)能夠回答的簡單問句,因而提出了復合問句分解任務。本文將復合問句分解任務分為兩個子任務:復合問句的分類任務和復合問句的子問句生成任務,并對兩個任務分別構建了相應數據集以進行研究。針對復合問句分解任務缺乏可用的中文語料的情況,本文自行從百度知道、《一站到底》節(jié)目、HotpotQA等來源搜集了相關語料,根據問句的句法結構和解答方式定義了四種類型的復合問句,并制定了詳細的標注規(guī)則,構建了包含5100多句復合問句的復合問句分類和子問句生成的數據集。復合問句的分類任務旨在識別出簡單問句和不同類型的復合問句,本文認為復合問句具有比較顯著的語法和語義特征,并基于此對相關機器學習和深度學習算法進行了研究,... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數】：66 頁

【學位級別】：碩士

【部分圖文】：

問答系統(tǒng)的體系結構圖

圖 2-4 HotpotQA 中數據的例子及其翻譯問句語料標注詳盡的標注規(guī)則的制定可以使復合問句分解任務語料標注研究針對復合問句分類任務和復合問句的子問句生成任務注的詳細規(guī)則。在構建數據集時，本研究致力于剔除不規(guī)句分類，并表示其分解后的問句，語料標注流程如圖 2-5 所：被評為 2015 Diamond Head Classic 比賽 MVP 的球員效力于哪支?落 1：2015 Diamond Head Classic 是一場大學籃球錦標賽……巴迪·德被評為本屆比賽 MVP。落 2：哈瓦諾·雷尼爾·“巴迪”·希爾德是 NBA 薩克拉門托國王隊的巴職業(yè)籃球運動員……

21圖 2-11 JSON 格式的子問句生成數據2.4 訓練語料的數據增強本研究雖然構建了復合問句子問句生成的相應數據集，提出了子問句生成的相關模型，但是深度學習的生成任務往往需要使用大規(guī)模的訓練語料來達到充分訓練模型的需求。而在本研究的實驗過程中，隨著訓練數據的增加第 3 章中的復合問句分類模型有顯著的進步，最終分類準確率趨于穩(wěn)定，達到了較好的復合問句分類效果；第 4 章中的子問句生成模型的效果也有所提升，但遠沒有達到模型在原任務上的效果。通過對比發(fā)現(xiàn)，深度學習中文本生成任務所用的數據集規(guī)模一般都是比較大的，而本研究自行搜集的數據相


本文編號：3483331