發(fā)布時(shí)間：2024-04-21 03:36

　　中文語(yǔ)言模型是一種用于表達(dá)中文詞序列的概率分布的數(shù)學(xué)模型,是語(yǔ)音識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一,其優(yōu)劣程度直接影響系統(tǒng)整體性能。由于高質(zhì)量的中文數(shù)據(jù)集的稀缺,以及實(shí)際自然語(yǔ)言場(chǎng)景中中文詞匯組合形式上的多樣性,訓(xùn)練出來(lái)的中文語(yǔ)言模型常常會(huì)出現(xiàn)數(shù)據(jù)稀疏問(wèn)題。針對(duì)此種現(xiàn)象,一般采用兩種解決辦法:一種是對(duì)用來(lái)訓(xùn)練的文本語(yǔ)料進(jìn)行擴(kuò)增,即數(shù)據(jù)增強(qiáng),另一種是針對(duì)用來(lái)訓(xùn)練的文本語(yǔ)料的數(shù)據(jù)分布,改進(jìn)其平滑算法。然而由于一些算法本身的局限性和存在的缺點(diǎn),目前較多研究是對(duì)訓(xùn)練語(yǔ)料進(jìn)行數(shù)據(jù)增強(qiáng)來(lái)提高語(yǔ)言模型的性能。針對(duì)上述中文語(yǔ)言模型數(shù)據(jù)稀疏問(wèn)題,本文提出了一種改進(jìn)的基于生成對(duì)抗網(wǎng)絡(luò)的文本復(fù)述模型來(lái)擴(kuò)增中文文本語(yǔ)料,訓(xùn)練新的語(yǔ)言模型來(lái)改善數(shù)據(jù)稀疏問(wèn)題,采用分層長(zhǎng)短期記憶網(wǎng)絡(luò)和多級(jí)獎(jiǎng)勵(lì)方法增強(qiáng)了對(duì)長(zhǎng)文本序列的處理能力以及對(duì)生成的多樣化文本序列的區(qū)分能力。實(shí)驗(yàn)表明該模型能夠較好地的處理中文長(zhǎng)文本序列,并能對(duì)文本序列輸出具有區(qū)分度的獎(jiǎng)勵(lì),解決了常見(jiàn)分類模型判別器反饋信息不足的問(wèn)題。同時(shí),利用文本復(fù)述對(duì)原始數(shù)據(jù)做數(shù)據(jù)增強(qiáng),并使用改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)模型生成的采樣數(shù)據(jù)和原始數(shù)據(jù)分別訓(xùn)練不同的語(yǔ)言模型,將訓(xùn)練好的兩個(gè)語(yǔ)言模型進(jìn)行插...

【文章頁(yè)數(shù)】：61 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1-1語(yǔ)音識(shí)別系統(tǒng)模塊圖

語(yǔ)音是人們?nèi)粘Ｉ罱涣鞯闹饕緩�。�?lái)，隨著計(jì)算機(jī)硬件的發(fā)展，硬件算力得到極大提升，員可以得到很復(fù)雜的模型，也能解決更為復(fù)雜的問(wèn)題，越高，科學(xué)家們追求使機(jī)器像人類一樣，可以說(shuō)話、可到來(lái)遙遙無(wú)期，但是目前機(jī)器的智能化程度相比幾十特別是近年深度學(xué)習(xí)的應(yīng)用發(fā)展，使得人機(jī)的交互方式技術(shù)廣泛....

圖2-1詞分類算法流程圖

-12-圖2-1詞分類算法流程圖網(wǎng)絡(luò)nitestatenetwork,FSN）是一種常用的于基于規(guī)則的語(yǔ)音識(shí)別系統(tǒng)。言，轉(zhuǎn)錄實(shí)際應(yīng)用場(chǎng)景下的錄音得到orpus，RC），基于FSN句法規(guī)則進(jìn)需要的句法規(guī)則，并使用程序生成語(yǔ)語(yǔ)料RC來(lái)增強(qiáng)FSN語(yǔ)料，使用語(yǔ)料和參考語(yǔ)....

圖2-2RNN的鏈接結(jié)構(gòu)

記為kW，則原始訓(xùn)練語(yǔ)料TC中需要添加kW的次數(shù)為：(),,kkRCkTCNumberppTC(第k個(gè)關(guān)鍵詞需復(fù)制語(yǔ)料SC的次數(shù)為：,kkkSCNumberRf(2之后，選擇語(yǔ)料SC的復(fù)制比為：max1kRRkK....

圖2-3LSTM單元結(jié)構(gòu)圖

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-2所示，RNN是重復(fù)的鏈?zhǔn)叫问�，原始RNN中，重復(fù)模塊有一個(gè)tanh層。LSTM具有同樣的鏈?zhǔn)浇Y(jié)構(gòu)，但是重復(fù)的模塊內(nèi)部的結(jié)構(gòu)M中的重復(fù)模塊包含四個(gè)交互的層，如圖2-3所示：態(tài)C是LSTM的關(guān)鍵，圖2-3上方的水平線....

本文編號(hào)：3960358