發(fā)布時間：2024-03-17 01:24

　　作為一種能夠?qū)⑷祟惵曇艮D(zhuǎn)化為文字的有效方法,語音識別(Automatic Speech Recognition,ASR)憑借自身的優(yōu)勢已在多個領(lǐng)域成為主要的技術(shù)手段。目前,基于端到端的深度學(xué)習(xí)(Deep Learning)方法被廣泛的應(yīng)用到ASR中,其中比較常用的有連接時序分類(Connectionist Temporal Classification,CTC)模型和擁有編解碼結(jié)構(gòu)的注意力(Attention)模型。這兩種模型完全擺脫了傳統(tǒng)方法的強(qiáng)制對齊,模型優(yōu)化更直接且有更強(qiáng)的通用性。與CTC相比,注意力模型不需要幀的獨(dú)立性假設(shè),因而其性能更好。然而,由于注意力模型剛剛出現(xiàn)不久,因此對其廣泛深入的研究還不夠充分。為此,本文從如下兩個方面對注意力模型展開研究:(1)考慮到基于注意力機(jī)制的語音識別系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜,當(dāng)采用梯度下降算法進(jìn)行反向傳播時,會出現(xiàn)編碼器更新能力較弱的問題。因此,針對編碼器部分進(jìn)行改進(jìn),通過在編碼器后再加入新的CTC損失與注意力損失進(jìn)行結(jié)合,形成基于多任務(wù)的學(xué)習(xí)。在多任務(wù)學(xué)習(xí)中,CTC和注意力兩個任務(wù)的重要程度并不一致,因此在大規(guī)模語料庫中通過手動調(diào)參確定這兩個...

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1-1端到端的語音識別系統(tǒng)

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-5-圖1-1端到端的語音識別系統(tǒng)圖1-2序列到序列模型圖1-2的子圖(a)為CTC模型。在無先驗(yàn)性對齊情況下，該模型能夠度量輸入和輸出序列的相似度，并且能刻畫語音特征和音素序列的相關(guān)性�；贑TC的語音識別系統(tǒng)由RNN編碼模塊和CTC損失函數(shù)模塊組....

圖1-3本文統(tǒng)識別

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-10-外研究現(xiàn)狀，還詳細(xì)描述如何搭建基于注意力機(jī)制的語音識別系統(tǒng)基線，分別在第1章、第2章介紹；第二部分是從編碼器的角度利用CTC損失進(jìn)行改進(jìn)，并提出自適應(yīng)多任務(wù)學(xué)習(xí)，這將在第3章介紹；第三部分，從注意力機(jī)制的角度提出前向注意力模型和多尺度模型，并....

圖1-3本文的組織結(jié)構(gòu)

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-10-外研究現(xiàn)狀，還詳細(xì)描述如何搭建基于注意力機(jī)制的語音識別系統(tǒng)基線，分別在第1章、第2章介紹；第二部分是從編碼器的角度利用CTC損失進(jìn)行改進(jìn)，并提出自適應(yīng)多任務(wù)學(xué)習(xí)，這將在第3章介紹；第三部分，從注意力機(jī)制的角度提出前向注意力模型和多尺度模型，并....

圖2-2二維輸入的有效卷積過程

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-16-假設(shè)輸入的信號x是一維序列，即xnPù±，n是信號采樣數(shù)；卷積濾波器mw，m是濾波器大�。粂是卷積操作后的結(jié)果，則：(1)有效卷積11(,,"")((1),...,(),...,(1))()(1)()nmmiconvvalidtnmttii+....

本文編號：3930303