本文關(guān)鍵詞：普通話自由表述口語評測關(guān)鍵技術(shù)的研究

  更多相關(guān)文章： PSC 自由表述口語 語音評測 后驗概率 多語種-神經(jīng)網(wǎng)絡(luò) 遞歸神經(jīng)網(wǎng)絡(luò) 條件隨機場 矢量空間模型

【摘要】：口語評測是一種學(xué)生按照某種要求發(fā)音,計算機根據(jù)學(xué)生發(fā)音的標(biāo)準(zhǔn)程度來自動評分的技術(shù)。傳統(tǒng)的文本相關(guān)評測任務(wù)要求學(xué)生嚴格依照指定的文本發(fā)音,對應(yīng)朗讀或者嚴格背誦的情境,通常采用幀規(guī)整對數(shù)后驗概率作為衡量發(fā)音標(biāo)準(zhǔn)程度最主要的特征,該特征與人工分具有較高的相關(guān)度,此技術(shù)也已經(jīng)有了廣泛而成功的應(yīng)用。但在文本無關(guān)情境下,比如要求考生在給定主題約束下,針對該主題進行一段自由表述,通過衡量發(fā)音的標(biāo)準(zhǔn)程度和詞匯語法使用規(guī)范程度來評分,這種任務(wù)無論國內(nèi)還是國際上都鮮有研究；本文嘗試對此展開初步的研究工作。具體的,是針對國內(nèi)普通話水平測試(Putonghua Shuiping Ceshi, PSC)的第4題進行自動評分的研究。該題要求考生在3分鐘內(nèi)進行一段給定主題的自由表述,與本文的研究非常契合。本文的主要研究工作概述如下：首先,本文探究了如何采用識別的方法,對文本無關(guān)口語評測計算類似于文本相關(guān)任務(wù)中常用的后驗概率特征,以此來評估發(fā)音的標(biāo)準(zhǔn)程度。具體的,利用DNN-HMM的語音識別模型對考生表述的語音做識別,再在此框架下計算解碼中的每個音素相對于發(fā)音矢量的后驗概率,并針對PSC考試第4題的具體情境進行了改進。實驗表明,該后驗概率與人工分具有較高的相關(guān)度。其次,由于本論文后驗概率特征計算的過程非常依賴于識別的性能,為了提升識別器的準(zhǔn)確率,采用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)語言模型來對一遍解碼出的N-best候選做語言模型得分重估計(Rescoring),選取Rescoring后得分最大的候選句子作為新的識別結(jié)果：實驗結(jié)果發(fā)現(xiàn),這樣修正后無論是識別率還是后驗概率特征與人工分的相關(guān)度,都有一定的提升。再者,為了衡量考生表述語音中的方言口音程度,本論文借鑒多語種-神經(jīng)網(wǎng)絡(luò)(Multi-lingual Neural Network)的方法,在解碼神經(jīng)網(wǎng)絡(luò)的輸出引入額外的方言數(shù)據(jù)狀態(tài)節(jié)點,獲得每一幀數(shù)據(jù)相對于方言數(shù)據(jù)模型的似然度得分,從而在后驗概率計算公式的分母上引入方言得分,初步估計發(fā)音的方言程度。然后,為了關(guān)注表述的流暢程度,本論文采用每句話的音素平均發(fā)音幀數(shù)來計算語速特征,以此初步估計流暢程度。另外,嘗試使用條件隨機場(Conditional Random Field, CRF)訓(xùn)練分句模型,從內(nèi)容上對識別結(jié)果進行句子邊界判斷。實驗表明,重新分句后計算的語速特征與人工分具有更高的相關(guān)度。最后,使用矢量空間模型(Vector Space Model, VSM)對識別結(jié)果建模,從內(nèi)容上評估表述的詞匯語法使用規(guī)范程度。實驗發(fā)現(xiàn),對VSM模型采用一層RBM變換會獲得較好的性能。同時,為了評分的公平性,還進行了離題檢測相關(guān)任務(wù)。
【關(guān)鍵詞】：PSC 自由表述口語 語音評測 后驗概率 多語種-神經(jīng)網(wǎng)絡(luò) 遞歸神經(jīng)網(wǎng)絡(luò) 條件隨機場 矢量空間模型
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TN912.34
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-20
• 1.1 研究背景及意義12-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-17
• 1.3 本文主要研究內(nèi)容及結(jié)構(gòu)安排17-20
• 第二章 基于深度神經(jīng)網(wǎng)絡(luò)的后驗概率計算方法20-28
• 2.1 基于HMM模型的語音識別基本原理20-22
• 2.2 DNN模型應(yīng)用于語音識別22-24
• 2.3 DNN-HMM模型下后驗概率的計算24-25
• 2.4 針對PSC考試背景的后驗概率應(yīng)用25
• 2.4.1 靜音段比例與后驗概率加權(quán)25
• 2.4.2 后驗概率判斷發(fā)音正確與否25
• 2.5 實驗結(jié)果和分析25-28
• 2.5.1 DNN-HMM識別器識別性能簡介25-26
• 2.5.2 評測集合簡介26
• 2.5.3 后驗概率特征初步性能26-28
• 第三章 后驗概率計算改進算法28-36
• 3.1 基于語言模型的識別結(jié)果修正28-30
• 3.1.1 RNN語言模型簡介28-29
• 3.1.2 RNN語言模型修正識別結(jié)果29-30
• 3.2 基于多語種-神經(jīng)網(wǎng)絡(luò)方法的發(fā)音方言程度評估30-32
• 3.2.1 多語種-神經(jīng)網(wǎng)絡(luò)方法簡介30-31
• 3.2.2 多語種方法應(yīng)用于方言程度評估31-32
• 3.3 實驗結(jié)果和分析32-36
• 3.3.1 RNN語言模型修正性能32-34
• 3.3.2 語種-神經(jīng)網(wǎng)絡(luò)方法性能34-36
• 第四章 基于條件隨機場的語速特征計算方法36-44
• 4.1 條件隨機場模型簡介36-40
• 4.2 基礎(chǔ)語速特征提取方法40-41
• 4.3 CRF模型判斷句子邊界標(biāo)識41-42
• 4.4 實驗結(jié)果和分析42-44
• 第五章 基于矢量空間模型的詞匯語法使用規(guī)范評估44-52
• 5.1 矢量空間模型簡介44-45
• 5.2 詞匯語法規(guī)范評估方法45-46
• 5.3 離題檢測方法46-48
• 5.4 實驗結(jié)果和分析48-52
• 5.4.1 VSM特征性能48
• 5.4.2 離題檢測性能48-50
• 5.4.3 最終評分性能50-52
• 第六章 總結(jié)52-54
• 6.1 本文的主要貢獻與創(chuàng)新點52-53
• 6.2 后續(xù)工作展望53-54
• 參考文獻54-58
• 致謝58-60
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果60

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 婁震,金忠,楊靜宇;基于類條件置信變換的后驗概率估計方法[J];計算機學(xué)報;2005年01期

2 周壽軍;周智洋;邱建平;王文輝;尹洪男;;基于后驗概率的呼吸信號預(yù)測[J];中國生物醫(yī)學(xué)工程學(xué)報;2009年02期

3 馮志遠;張連海;;基于音素后驗概率和層次凝聚聚類算法的音素邊界檢測[J];太赫茲科學(xué)與電子信息學(xué)報;2014年02期

4 鄭海紅;曾平;;基于最大后驗概率的逆半調(diào)改進方法[J];西安交通大學(xué)學(xué)報;2005年12期

5 李向軍;李良福;;基于后驗概率度量的粒子濾波跟蹤算法研究[J];應(yīng)用光學(xué);2011年04期

6 張文生,王玨,戴國忠;支持向量機中引入后驗概率的理論和方法研究[J];計算機研究與發(fā)展;2002年04期

7 鄒士新;馬遠良;楊坤德;雷波;;匹配場反演后驗概率分析[J];系統(tǒng)仿真學(xué)報;2005年12期

8 孟莎;余鵬;Frank Seide;劉加;;基于后驗概率詞格的漢語自然對話語音索引[J];清華大學(xué)學(xué)報(自然科學(xué)版);2008年S1期

9 文志強;蔡自興;;一種最大后驗概率條件下的運動目標(biāo)檢測方法[J];小型微型計算機系統(tǒng);2008年05期

10 鄭鐵然;韓紀(jì)慶;;基于后驗概率的漢語語音檢索方法研究[J];高技術(shù)通訊;2009年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 鄒士新;馬遠良;楊坤德;雷波;;匹配場反演后驗概率分析[A];中國聲學(xué)學(xué)會2005年青年學(xué)術(shù)會議[CYCA'05]論文集[C];2005年

2 嚴可;魏思;戴禮榮;劉慶峰;;基于音素相關(guān)后驗概率變換的發(fā)音質(zhì)量評價[A];第十一屆全國人機語音通訊學(xué)術(shù)會議論文集（二）[C];2011年

3 張文生;王玨;;支持向量機中引入后驗概率的理論和方法研究[A];2001年中國智能自動化會議論文集（下冊）[C];2001年

4 張希娟;朱靖波;;主動學(xué)習(xí)中后驗概率尖銳現(xiàn)象的平滑處理[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

5 張學(xué)磊;李整林;;簡正波頻散特性反演結(jié)果的后驗概率分析[A];2008年全國聲學(xué)學(xué)術(shù)會議論文集[C];2008年

6 韋艷艷;李陶深;;一種改進的基于加權(quán)平均后驗概率的1-層泛化方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

7 孟莎;余鵬;Frank Seide;劉加;;基于后驗概率詞格的漢語自然對話語音索引[A];第九屆全國人機語音通訊學(xué)術(shù)會議論文集[C];2007年

8 王曉紅;;一種改進多類支持向量機加權(quán)后驗概率重構(gòu)策略[A];2009中國控制與決策會議論文集（3）[C];2009年

9 嚴可;魏思;戴禮榮;劉慶峰;;基于音素相關(guān)后驗概率變換的發(fā)音質(zhì)量評價[A];第十一屆全國人機語音通訊學(xué)術(shù)會議論文集（一）[C];2011年

10 姚舒恬;陸佶人;方世良;;一種基于最大后驗概率判決的線譜檢測方法[A];2004年全國水聲學(xué)學(xué)術(shù)會議論文集[C];2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 石磊;自主式車輛環(huán)境感知技術(shù)研究[D];南京理工大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 許蘇魁;普通話自由表述口語評測關(guān)鍵技術(shù)的研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 代大攀;基于后驗概率和流形正則化的半監(jiān)督分類方法研究[D];華中科技大學(xué);2012年

3 石磊;基于后驗概率加權(quán)的模糊支持向量分類機研究及應(yīng)用[D];重慶師范大學(xué);2009年

4 萬方;一種基于ROC分析的多類別分類方法[D];山東大學(xué);2010年

5 張如艷;基于核函數(shù)的最大后驗概率的分類方法的研究及其應(yīng)用[D];江南大學(xué);2012年

，

本文編號：1104395