近年來,隨著人工智能在各個(gè)領(lǐng)域的廣泛應(yīng)用,研究如何將人工智能應(yīng)用于教育領(lǐng)域逐漸成為關(guān)注的焦點(diǎn)。智能提問是人工智能應(yīng)用于教育領(lǐng)域的一個(gè)體現(xiàn),是構(gòu)建智能化教學(xué)環(huán)境的一個(gè)重要組成部分。智能提問是一門交叉學(xué)科的研究方向,涉及的領(lǐng)域包括自然語言處理、教育學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)等,其主要目的是根據(jù)文本內(nèi)容自動(dòng)產(chǎn)生自然語言問題。智能提問也稱問題產(chǎn)生。傳統(tǒng)的問題產(chǎn)生方法是基于規(guī)則或模板的問題產(chǎn)生方法,該方法依賴人工根據(jù)文本內(nèi)容制定出問題產(chǎn)生規(guī)則或模板。然而,規(guī)則或模板容易被過度設(shè)計(jì),導(dǎo)致這種方法產(chǎn)生的問題質(zhì)量不高,難以滿足現(xiàn)實(shí)需求。近年來,深度學(xué)習(xí)在自然語言處理領(lǐng)域得到了廣泛使用,特別是在機(jī)器翻譯、智能問答等方向上取得了重大進(jìn)展,展示出了潛在的應(yīng)用價(jià)值。因此,研究員開始嘗試?yán)蒙疃葘W(xué)習(xí)技術(shù)實(shí)現(xiàn)問題產(chǎn)生。目前,研究提出的基于神經(jīng)網(wǎng)絡(luò)的問題產(chǎn)生方法主要關(guān)注英文問題產(chǎn)生,針對(duì)中文問題產(chǎn)生的研究相對(duì)較少。因此,本文主要針對(duì)現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的問題產(chǎn)生方法存在的不足,重點(diǎn)研究基于神經(jīng)網(wǎng)絡(luò)的中文問題產(chǎn)生方法,并取得了如下研究成果:1、融合知識(shí)圖譜的神經(jīng)網(wǎng)絡(luò)問題產(chǎn)生方法當(dāng)前研究提出的基于神經(jīng)網(wǎng)絡(luò)的問題產(chǎn)生方法主要... 

【文章來源】：西南大學(xué)重慶市 211工程院校 教育部直屬院校

【文章頁數(shù)】：83 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

前饋神經(jīng)網(wǎng)絡(luò)

西南大學(xué)碩士學(xué)位論文12圖2-1前饋神經(jīng)網(wǎng)絡(luò)2.2循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.1RNN循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[1]。在RNN循環(huán)神經(jīng)網(wǎng)絡(luò)中，同層的節(jié)點(diǎn)是有連接的，其隱藏層的輸入不僅包括前一層的輸出還包括上一時(shí)刻隱藏層的狀態(tài)。圖2-2是一個(gè)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖，左側(cè)是其折疊示意圖，右側(cè)是其展開示意圖。圖2-2RNN循環(huán)神經(jīng)網(wǎng)絡(luò)圖中的RNN循環(huán)神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層組成。從圖中可以看到，該網(wǎng)絡(luò)隨著序列數(shù)據(jù)的不斷推進(jìn)，t-1時(shí)刻隱藏層的狀態(tài)將會(huì)影響下一時(shí)刻t的隱藏層狀態(tài)。圖中x=(1,2,…,)是輸入的序列數(shù)據(jù)，=(1,2,…,,n)是RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出序列數(shù)據(jù)，y=(1,2,…,)是目標(biāo)輸出序列，RNN循環(huán)神經(jīng)網(wǎng)絡(luò)在t時(shí)刻的隱藏層的狀態(tài)計(jì)算公式如下所示：=(1+)(2-1)其中，∈是輸入序列中第t個(gè)元素的向量表示；∈×是用于調(diào)節(jié)輸入元素的權(quán)重矩陣；∈×是用于調(diào)節(jié)上一時(shí)刻隱藏層的狀態(tài)1的權(quán)重矩陣；σ是非線性激活函數(shù)，例如sigmoid函數(shù)，tanh函數(shù)等。最后，t時(shí)刻的隱藏層的狀態(tài)傳入到輸出層并計(jì)算得到t時(shí)刻的輸出：=g()(2-2)其中，輸出層是一個(gè)全連接層，∈×是用于調(diào)節(jié)隱藏層狀態(tài)的權(quán)重矩陣，g

西南大學(xué)碩士學(xué)位論文14圖2-3長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)2.3序列到序列學(xué)習(xí)模型2.3.1基于編碼器-解碼器的神經(jīng)網(wǎng)絡(luò)模型在NLP領(lǐng)域中，會(huì)面臨一種輸入和輸出均是序列數(shù)據(jù)的任務(wù)，即根據(jù)一個(gè)輸入序列x=(1,2,…,)，輸出另一個(gè)序列y=(1,2,…,)，例如機(jī)器翻譯。Cho團(tuán)隊(duì)提出了一種基于編碼器-解碼器的神經(jīng)網(wǎng)絡(luò)模型[1]，實(shí)現(xiàn)了將神經(jīng)網(wǎng)絡(luò)應(yīng)用于機(jī)器翻譯。該模型由兩個(gè)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)組成，一個(gè)RNN作為編碼器將變長(zhǎng)輸入序列映射到一個(gè)固定長(zhǎng)度的向量中；另一個(gè)RNN作為解碼器將固定長(zhǎng)度的向量映射為目標(biāo)序列，其模型結(jié)構(gòu)如圖2-4所示。該模型在編碼時(shí)，編碼器順序地讀取輸入序列x中的每個(gè)元素(i=1,2,…,m)。每讀取一個(gè)元素，編碼器的隱藏層狀態(tài)將會(huì)發(fā)生改變，如公式2-11所示，其中f可以使RNN或LSTM。當(dāng)讀取最后一個(gè)元素后，此刻的編碼器隱藏層的狀態(tài)可以作為整個(gè)輸入序列的概要信息c。=(1,)(2-11)c==(1,)(2-12)在解碼時(shí)，解碼器根據(jù)概要信息c，上一時(shí)刻的輸出元素1計(jì)算出解碼器在時(shí)刻t時(shí)的狀態(tài)，如公式2-13所示：=(1,1,)(2-13)p(|1,2,…,1,c)=g(,1,c)(2-14)t時(shí)刻的輸出元素的條件概率分布計(jì)算公式如2-14所示，其中g(shù)一般是softmax函數(shù)。最后，該模型通過最大化對(duì)數(shù)似然函數(shù)來聯(lián)合訓(xùn)練模型中的編碼器和解碼器：maxθ1∑log(|)=1(2-15)其中θ是模型的參數(shù)集合，(,)代表訓(xùn)練集中的一對(duì)輸入序列和輸出序列。


本文編號(hào)：3377900