【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展和社交平臺的涌現(xiàn),人們的交流形式已經(jīng)從單純的面對面逐漸轉(zhuǎn)移到了各大互聯(lián)網(wǎng)平臺。該轉(zhuǎn)變使社交平臺中積累了大量真實(shí)的對話資源,這不僅為對話系統(tǒng)的研究提供了大量的語料,也使自動對話系統(tǒng)的構(gòu)建變得可行。更為關(guān)鍵的是真實(shí)對話資源中蘊(yùn)含的對話規(guī)律和模式將推動自動對話技術(shù)的研究,促進(jìn)對話系統(tǒng)中各關(guān)鍵問題的解決。此外,目前對話系統(tǒng)的應(yīng)用場景也逐漸增多,如自動客服系統(tǒng)、個(gè)人助手等,其能為這些場景節(jié)約資源、提升效率。因此,對話系統(tǒng)的深入研究,無論對自然語言處理技術(shù)的研究還是互聯(lián)網(wǎng)相關(guān)產(chǎn)業(yè)的發(fā)展,都有至關(guān)重要的作用。本文主要研究聊天型對話系統(tǒng)中回復(fù)選擇或者生成的關(guān)鍵問題,其分析了影響對話過程的幾個(gè)主要因素,如背景知識、個(gè)性化信息、上下文和反饋,然后運(yùn)用這些因素解決檢索式或者生成式對話模型中遇到的問題。具體地,本文的主要內(nèi)容包含以下4個(gè)方面。(1)作為對話理解的基礎(chǔ)之一,背景知識能夠?yàn)閷υ捥峁┐罅康脑掝}線索,這些線索有助于對話的進(jìn)一步深入和擴(kuò)展,其也能保證對話話題收斂性。同時(shí),檢索式對話系統(tǒng)中候選回復(fù)的話題比較發(fā)散,不利于對話的深入。本文提出了利用背景知識來解決檢索式對話模型的發(fā)散問題。首先,本文分析了對話場景下背景知識的特點(diǎn),提出了對應(yīng)的挖掘方法。然后,本文提出了融合背景知識的回復(fù)排序方法。為了更好地利用背景知識,本文還提出了背景知識回憶機(jī)制。對話系統(tǒng)的回復(fù)排序任務(wù)中的實(shí)驗(yàn)結(jié)果表明本文提出的方法能夠有效地利用背景知識中的線索,提高回復(fù)排序的結(jié)果。(2)用戶作為對話的主要參與者,其對于對話過程的影響不言而喻,但目前的對話系統(tǒng)很少考慮用戶的個(gè)性化信息,即使有也僅包含一些興趣標(biāo)簽、性別、年齡等個(gè)性化特征,這些特征對于用戶的個(gè)性化信息的覆蓋率很低,因而對回復(fù)選擇也影響很小。為了挖掘全面的用戶個(gè)性化信息,本文提出了基于用戶生成內(nèi)容的個(gè)性化建模方法,通過用戶與其產(chǎn)生的內(nèi)容之間的匹配關(guān)系學(xué)習(xí)個(gè)性化信息。在此基礎(chǔ)上,本文提出了融合個(gè)性化信息的回復(fù)排序模型,從而在候選排序過程中考慮候選與用戶個(gè)性化信息的匹配程度,進(jìn)而選擇出更適合當(dāng)前用戶的回復(fù)。(3)針對生成式對話模型易產(chǎn)生信息量少的“安全回復(fù)”的問題,本文引入了反饋機(jī)制來評價(jià)生成回復(fù)的質(zhì)量,從而引導(dǎo)生成模型產(chǎn)生高質(zhì)量回復(fù)。為了得到生成回復(fù)質(zhì)量的反饋,本文提出了基于對抗網(wǎng)絡(luò)的回復(fù)生成模型,通過對抗網(wǎng)絡(luò)的判別器度量生成回復(fù)與真實(shí)回復(fù)的差異,進(jìn)而將這種差異作為回復(fù)生成模型的優(yōu)化目標(biāo)函數(shù)。同時(shí)為了解決文本生成過程中的離散采樣問題,本文提出了一種詞向量近似層,將生成模型和判別器直接連接,從而使判別器給出的反饋有效地傳遞給生成模型。此外,為了更好地訓(xùn)練生成模型,本文的判別器和反饋的度量方法上也做了一些改進(jìn),使其更適合文本生成任務(wù)。(4)對話上下文是回復(fù)生成模型可以利用的最直接信息,其包含的線索也是對話進(jìn)行的主要依據(jù),因此充分利用對話的上下文信息對于生成回復(fù)是非常有價(jià)值的。然而受限于上下文建模方法,目前回復(fù)生成模型對于上下文的利用不夠充分,距離當(dāng)前對話較遠(yuǎn)的歷史信息通常得不到利用。本文在深入分析了對話上下文中的信息特點(diǎn)的基礎(chǔ)上,提出了動態(tài)工作記憶網(wǎng)絡(luò)來對上下文進(jìn)行建模,并根據(jù)對話的特點(diǎn)設(shè)計(jì)了特殊的記憶更新機(jī)制挖掘并保存其中的話題線索。在此基礎(chǔ)上,本文提出了基于動態(tài)記憶網(wǎng)絡(luò)的上下文相關(guān)的回復(fù)生成模型,從而產(chǎn)生與上下文相關(guān)的回復(fù)。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：TP18;TP391.1


本文編號：2723095