本文選題：語音識(shí)別 + 深度學(xué)習(xí)��； 參考：《北京交通大學(xué)》2017年碩士論文

【摘要】：語音識(shí)別是人工智能的重要分支和一項(xiàng)重要的人機(jī)交互技術(shù),被廣泛的應(yīng)用到各種生活場(chǎng)景中。當(dāng)前的語音識(shí)別系統(tǒng)在純凈無噪的環(huán)境下的準(zhǔn)確率已經(jīng)超過了人的聽覺,然而,真實(shí)應(yīng)用場(chǎng)景中的復(fù)雜的環(huán)境因素對(duì)語音識(shí)別系統(tǒng)的準(zhǔn)確度帶來的影響,以及在開發(fā)階段訓(xùn)練語音識(shí)別模型所消耗的時(shí)間成本與計(jì)算成本,成為阻礙語音識(shí)別發(fā)展的難題,因此,快速訓(xùn)練語音識(shí)別模型的同時(shí)提高識(shí)別率是語音識(shí)別的重要研究課題。本文主要研究如何在加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度與解碼速度的前提下提高語音識(shí)別模型的準(zhǔn)確率。神經(jīng)網(wǎng)絡(luò)的黑盒性與不可解釋性是改進(jìn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的主要難題,本文使用可視化的方式,對(duì)神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)進(jìn)行研究,基于可視化的結(jié)果分析了導(dǎo)致網(wǎng)絡(luò)精度低與訓(xùn)練速度慢的主要原因。本文的研究工作主要由以下三個(gè)部分組成:第一部分,提出了一種基于跨層值傳遞的深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)的層數(shù)和參數(shù)的增加,可以有效的抑制過擬合的現(xiàn)象,而層數(shù)過深導(dǎo)致的直接問題是:信息在傳遞的過程中的損失。本文通過深度神經(jīng)網(wǎng)絡(luò)隱藏層的研究,提出了一種基于跨層值傳遞的神經(jīng)網(wǎng)絡(luò),經(jīng)驗(yàn)證該方法可以有效的防止信息在傳遞過程中的損失,提升神經(jīng)網(wǎng)絡(luò)的精度。第二部分,提出了一種二值化與線性表示結(jié)合的方法加速循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與解碼。循環(huán)神經(jīng)網(wǎng)絡(luò)內(nèi)部復(fù)雜的結(jié)構(gòu)是導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練與解碼速度慢的直接因素,本文基于對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)中的門的研究,提出了二值化與線性表示相結(jié)合的訓(xùn)練方法,經(jīng)驗(yàn)證該方法可以做到在只損失少量精度的前提下加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與解碼。第三部分,將以上兩種方式結(jié)合,提出了基于二值化與線性表示結(jié)合的跨層值傳遞深度循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并設(shè)計(jì)了:常規(guī)測(cè)試,魯棒性測(cè)試與速度測(cè)試三種方式對(duì)新的模型進(jìn)行全面驗(yàn)證,最終結(jié)果表明:新的模型可以在加快訓(xùn)練速度與解碼速度的前提下提升深度神經(jīng)網(wǎng)絡(luò)的精度。最后作者應(yīng)用本文提出的新模型,實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的在線語音識(shí)別系統(tǒng),該系統(tǒng)可以并發(fā)的為用戶提供大規(guī)模連續(xù)語音識(shí)別服務(wù)。
[Abstract]:Speech recognition is an important branch of artificial intelligence and an important human-computer interaction technology, which is widely used in various life scenes. The accuracy of the current speech recognition system in the pure noiseless environment has exceeded the human hearing rate. However, the complex environmental factors in the real application scene have an impact on the accuracy of the speech recognition system. And the time cost and computation cost of training speech recognition model in the development stage become a difficult problem that hinders the development of speech recognition. Therefore, fast training speech recognition model while improving the recognition rate is an important research topic of speech recognition. This paper mainly studies how to improve the accuracy of speech recognition model on the premise of speeding up the training speed and decoding speed of neural network. The black box and inexplicable nature of neural network are the main problems in improving the neural network structure. In this paper, the internal structure of neural network is studied by means of visualization. Based on the results of visualization, the main causes of low network precision and slow training speed are analyzed. The work of this paper is mainly composed of three parts: in the first part, a depth neural network based on cross-layer value transfer is proposed. The increase of layers and parameters of deep neural networks can effectively suppress the phenomenon of over-fitting, and the direct problem caused by the depth of layers is the loss of information in the process of transmission. Based on the research of the hidden layer of deep neural network, a neural network based on cross-layer value transfer is proposed in this paper. It is proved that this method can effectively prevent the loss of information in the transmission process and improve the accuracy of the neural network. In the second part, a method of combining binarization and linear representation is proposed to accelerate the training and decoding of cyclic neural networks. The complex structure of the cyclic neural network is the direct factor leading to the slow speed of training and decoding of the neural network. Based on the study of the gates in the cyclic neural network, a training method combining binarization and linear representation is proposed in this paper. It is proved that this method can speed up the training and decoding of neural networks with only a small loss of precision. In the third part, combining the above two methods, a cross-layer value transfer depth circulatory neural network structure based on binarization and linear representation is proposed, and a conventional test is designed. The results show that the new model can improve the precision of the depth neural network on the premise of accelerating the training speed and decoding speed. Finally, using the new model proposed in this paper, the author implements a simple online speech recognition system, which can simultaneously provide large-scale continuous speech recognition services for users.
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP183;TN912.34

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：1867037