本世紀(jì)以來,隨著生活與科技水平的提升,民眾對(duì)健康問題的關(guān)注日益增多。智能醫(yī)療問答系統(tǒng),能夠快速反饋用戶所需的專業(yè)醫(yī)學(xué)信息,具有非常重要的研究與應(yīng)用價(jià)值。目前,大多數(shù)智能醫(yī)療問答系統(tǒng)為檢索式問答系統(tǒng),主要包括兩個(gè)核心模塊:問題召回和問句重排序。問句召回模塊基于字詞相似度快速召回top k個(gè)候選匹配問題;重排序模塊使用文本匹配模型根據(jù)語義相似度對(duì)召回的k個(gè)候選問句重新進(jìn)行排序。文本匹配模型排序結(jié)果對(duì)應(yīng)的答案即為最后返回給用戶的答案。因此,文本匹配模型的性能,極大程度影響了檢索式問答系統(tǒng)的性能。本文主要研究檢索式醫(yī)療問答系統(tǒng)中的問句匹配問題。受前人工作的啟發(fā),本文提出了基于動(dòng)態(tài)路由與注意力機(jī)制的語義匹配模型,通過雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)文本進(jìn)行上下文信息的編碼,引入注意力機(jī)制對(duì)文本對(duì)進(jìn)行交互匹配信息的建模,使用動(dòng)態(tài)路由機(jī)制對(duì)上下文信息的編碼和注意力表示進(jìn)行加權(quán)。為驗(yàn)證該模型有效性,本文構(gòu)建了大規(guī)模的醫(yī)療文本匹配數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)證明本文提出的模型F1值達(dá)到86.66%,優(yōu)于現(xiàn)有主流匹配模型。此外,對(duì)模型進(jìn)行消融對(duì)比實(shí)驗(yàn),證明了本文提出的模型可以很好的對(duì)句子的語義信息與匹配交互信息進(jìn)行建模。... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

基于全連接神經(jīng)網(wǎng)絡(luò)的DSSM模型

窗口內(nèi)捕捉到的詞轉(zhuǎn)換成單詞N-grams。在CDSSM的輸入中，仍然使用DSSM形式的三元組布爾向量對(duì)輸入進(jìn)行表示。對(duì)每個(gè)滑動(dòng)窗口，將該窗口中所有單詞的布爾向量拼接為該窗口的特征向量，進(jìn)行后續(xù)的卷積運(yùn)算。而后將每個(gè)窗口輸出的特征向量輸入到一個(gè)前饋網(wǎng)絡(luò)中，以提取該窗口的高層語義特征。最大池層采用所有滑動(dòng)窗口的網(wǎng)絡(luò)輸出向量的元素最大值，來獲得最終的句向量表示。通過這樣的模型設(shè)計(jì)，可以將可變長(zhǎng)度的輸入文本，輸出為固定長(zhǎng)度的特征向量。最后在最大池層之上加入一個(gè)前饋網(wǎng)絡(luò)，輸出最終的輸入文本語義表示向量。圖2-2基于交互式卷積神經(jīng)網(wǎng)絡(luò)的文本匹配模型DSSM和CDSSM都屬于文本匹配領(lǐng)域比較早的深度學(xué)習(xí)模型，隨著word2vec[29]，Glove[30]等詞向量的出現(xiàn)，使得詞向量越來越變成主流的文本匹配模型的輸入，取代了DSSM提出的三元組布爾映射輸入。Hu等人[12]使用卷積神經(jīng)網(wǎng)絡(luò)來對(duì)文本的輸入向量進(jìn)行建模，提出了2個(gè)不同形式的CNN文本匹配模型。ARC-I如圖2-2所示，分別使用參數(shù)共享的卷積神經(jīng)網(wǎng)絡(luò)來對(duì)輸入的文本對(duì)進(jìn)行卷積池化，獲得固定長(zhǎng)度的文本表示，而后不同于CDSSM直接使用余弦相似度作為兩個(gè)句子的相似度，ARC-I選擇拼接這兩個(gè)向量作為全連接多層神經(jīng)網(wǎng)絡(luò)的輸入去進(jìn)行相似度打分，從而將這個(gè)多層全連接神經(jīng)網(wǎng)絡(luò)的輸出處理后作為最終相似度。ARC-II則是基于句子對(duì)交互式的匹配模型，在除了保持句子序列信息之外，該模型還會(huì)對(duì)對(duì)兩個(gè)文本的局部之間進(jìn)行匹配學(xué)習(xí)。

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-22-絡(luò)（BidirectionalLongShort-TermMemory,BiLSTM）作為文本編碼器，LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)常見變種，結(jié)構(gòu)如圖3-2所示，LSTM的門控設(shè)計(jì)使得其對(duì)長(zhǎng)文本有更好的建模效果。圖3-2LSTM模型結(jié)構(gòu)在語義匹配任務(wù)中，希望能夠?qū)蓚�(gè)文本進(jìn)行精細(xì)的語義交互匹配，本文引入注意力機(jī)制，對(duì)兩個(gè)文本進(jìn)行匹配信息交互。注意力機(jī)制架構(gòu)如圖3-3所示，注意力機(jī)制可以描述為將和一組<key,value>對(duì)映射到輸出，其中query，<key,value>對(duì)和輸出都是向量。輸出被計(jì)算為value的加權(quán)和，而其中分配給每個(gè)的權(quán)重則由和對(duì)應(yīng)的值通過函數(shù)計(jì)算獲得。圖3-3注意力機(jī)制架構(gòu)具體attention的形式化表述如公式3-1到3-3所示：=(,)(3-1)=∑(3-2)(,,)=∑(3-3)其中，(,)為query和任意key之間相似度的計(jì)算函數(shù)，這里有很多不

【參考文獻(xiàn)】：
期刊論文
[1]深度文本匹配綜述[J]. 龐亮,蘭艷艷,徐君,郭嘉豐,萬圣賢,程學(xué)旗.  計(jì)算機(jī)學(xué)報(bào). 2017(04)



本文編號(hào)：3592353