隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展,網(wǎng)絡(luò)信息數(shù)據(jù)指數(shù)式增長。在信息大數(shù)據(jù)時(shí)代,在面對(duì)海量的信息時(shí),如何迅速準(zhǔn)確地獲取所需要的信息是用戶的迫切需求。相對(duì)于搜索引擎,智能問答系統(tǒng)可以根據(jù)用戶提出的自然語言問句,直接返回用戶所需要的答案信息,減少用戶的獲取信息的時(shí)間成本。深度學(xué)習(xí)技術(shù)日新月異,在自然語言處理領(lǐng)域已開始廣泛應(yīng)用,智能問答處理系統(tǒng)作為自然語言處理的重要應(yīng)用形式,逐漸受到關(guān)注。本文首先對(duì)所用到的深度學(xué)習(xí)技術(shù)進(jìn)行分析研究。針對(duì)標(biāo)準(zhǔn)門控循環(huán)單元GRU進(jìn)行語義向量表示學(xué)習(xí)時(shí)不能完整學(xué)習(xí)語句含義的問題,引入雙向門控循環(huán)單元Bi-GRU進(jìn)行語義編碼,得到較完整的語義理解向量。根據(jù)注意力思想,構(gòu)建語句級(jí)別的多步注意力機(jī)制,提升神經(jīng)網(wǎng)絡(luò)模型在獲取答案相關(guān)的文本信息向量的準(zhǔn)確性。隨后結(jié)合Bi-GRU和多步注意力機(jī)制,構(gòu)建智能問答神經(jīng)網(wǎng)絡(luò)模型,并通過實(shí)驗(yàn)驗(yàn)證了模型根據(jù)問題對(duì)信息文本向量提取后生成答案的準(zhǔn)確性。最后本文對(duì)智能問答系統(tǒng)的功能和架構(gòu)進(jìn)行分析,對(duì)模型訓(xùn)練和問答服務(wù)進(jìn)行分離式設(shè)計(jì),保證問答系統(tǒng)的可用性和穩(wěn)定性。 

【文章來源】：廣西大學(xué)廣西壯族自治區(qū) 211工程院校

【文章頁數(shù)】：60 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－３詞向量的二維可視化??Ｆｉｇ．２－３?２Ｄ?ｖｉｓｕａｌｉｚａｔｉｏｎ?ｏｆ?ｗｏｒｄ?ｖｅｃｔｏｒｓ??可以看到語義相近的詞，在二維平面的位置相近

層是輸入層，最后一層是輸出層，而中間的層都是隱藏層。前饋神經(jīng)網(wǎng)絡(luò)中的每一層之??間都是是全連接的，也就是說第ｉ層的任意一個(gè)神經(jīng)元不僅與ｉ－ｌ層的所有祌經(jīng)元相連??接，也與ｉ＋１層的所有神經(jīng)元相連。三層前饋神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖２－３所示：??輸Ａｇ?隱賴?輸出層??圖２－３三層前饋神經(jīng)網(wǎng)絡(luò)模型??Ｆｉｇ．２－３?Ｔｈｒｅｅ－ｌａｙｅｒ?ｆｅｅｄｆｏｒｗａｒｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｍｏｄｅｌ??前饋祌經(jīng)網(wǎng)絡(luò)前向傳播根據(jù)以下公式進(jìn)行數(shù)據(jù)計(jì)算：??Ｚ？?＝?Ｗ（ｌ）Ａ＾?＋?（２－１）??Ａ（ｉ）?＝?（２－２）??其中，Ａ（ｌ－１〕是上一層網(wǎng)絡(luò)的激活函數(shù)值，和ｂ（１）是第１層的權(quán)重參數(shù)和偏置值。??ｆｉ（ｘ）是第１層的激活函數(shù)。??前饋神經(jīng)網(wǎng)絡(luò)通過調(diào)整祌經(jīng)元的參數(shù)來找出輸入和輸出之間的線性或者非線性的??數(shù)學(xué)映射關(guān)系。由于前饋祌經(jīng)網(wǎng)絡(luò)具有模擬和處理復(fù)雜非線性過程的能力，擅長識(shí)別非??結(jié)構(gòu)化數(shù)據(jù)中的模式，在特征識(shí)別和分類任務(wù)上效果較好，因此在各類學(xué)科中都有許多??應(yīng)用。前饋祌經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，可以構(gòu)建大規(guī)模的祌經(jīng)網(wǎng)絡(luò)模型，特征學(xué)習(xí)能力強(qiáng)大，??但是由于輸出層神經(jīng)單元數(shù)量固定，不能很好地應(yīng)對(duì)變長序列數(shù)據(jù)。因此在自然語言處??理任務(wù)中，前饋祌經(jīng)網(wǎng)絡(luò)通常作為深度祌經(jīng)網(wǎng)絡(luò)模型的全連接層

圖像處理須域，其在圖像的分類、識(shí)別等任務(wù)上遠(yuǎn)超傳統(tǒng)機(jī)器學(xué)習(xí)算法模型，近年來也??廣泛地應(yīng)ｎｉ到文本、語音處理等須域。一個(gè)用于語言文本特征學(xué)習(xí)的基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)??模型示意圖如圖２￣４所示：??我■■睡?ｒ．?■??喜歡?１?■?１?－??北極?》?—ｓ?＞１??的??風(fēng)景??輸入?卷積層?池化層?全連接層輸出層??圖２－４卷積神經(jīng)網(wǎng)絡(luò)模型??Ｆｉｇ．２－４?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｍｏｄｅｌ??輸入是由詞向量纟Ｕ成的向量矩陣，每一行向量代表－個(gè)間語。由＞１個(gè)詞語組成的矩??陣的向量矩陣表示為：??Ｘ?＝?［ｘ１（ｘ２，?．．，ｘｎ］?（２－３）??卷積層：卷積層－般由多個(gè)卷積過濾器組成，不同的卷積過濾器可以從輸入中學(xué)習(xí)??不同的特征，并且深層的卷積層可以在淺層的學(xué)習(xí)基礎(chǔ)上進(jìn)一步學(xué)習(xí)復(fù)雜的特征。卷積??運(yùn)算的目的是從輸入中學(xué)習(xí)局部的特征，每一步的卷積計(jì)算如下：??４＝八〇丨?＋?辦）?（２－４）??其中Ｗ和ｂ是卷積過濾器的權(quán)重參數(shù)和偏置值，通過反向傳播好法付卷枳過濾器??的權(quán)重參數(shù)進(jìn)行學(xué)習(xí)優(yōu)化可以實(shí)現(xiàn)特定的特征提取功能。ｆ（ｘ）是激沾函數(shù)。Ａ＇度為ｈ的??卷積過濾器在－步卷積ｉｌ？算中對(duì)ｈ個(gè)詞進(jìn)行特征提取，經(jīng)過多步卷積操作后完成對(duì)整個(gè)??句子的處理

【參考文獻(xiàn)】：
期刊論文
[1]銀行領(lǐng)域漢語自動(dòng)問答系統(tǒng)BAQS的研究與實(shí)現(xiàn)[J]. 樊孝忠,李宏喬,李良富,葉江.  北京理工大學(xué)學(xué)報(bào). 2004(06)
[2]基于網(wǎng)絡(luò)的中文問答系統(tǒng)及信息抽取算法研究[J]. 崔桓,蔡?hào)|風(fēng),苗雪雷.  中文信息學(xué)報(bào). 2004(03)
[3]自動(dòng)問答綜述[J]. 鄭實(shí)福,劉挺,秦兵,李生.  中文信息學(xué)報(bào). 2002(06)



本文編號(hào)：3417589