本文關(guān)鍵詞：漢語(yǔ)語(yǔ)音信號(hào)驅(qū)動(dòng)虛擬人的研究

  更多相關(guān)文章： 虛擬現(xiàn)實(shí) 語(yǔ)音驅(qū)動(dòng) 語(yǔ)音識(shí)別 虛擬人聊天系統(tǒng) 人臉動(dòng)畫(huà)

【摘要】：隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展,對(duì)三維虛擬人的研究成為虛擬現(xiàn)實(shí)領(lǐng)域的熱點(diǎn)。在電視動(dòng)畫(huà)和計(jì)算機(jī)游戲中,逼真的模型給人以良好的視覺(jué)效果。近些年來(lái),越來(lái)越多的學(xué)者對(duì)虛擬人的建模以及虛擬人的驅(qū)動(dòng)方式的研究表現(xiàn)出極大的興趣,并分別提出了自己的方法。三維虛擬人驅(qū)動(dòng)方法的研究不僅減少了開(kāi)發(fā)商的投資,而且讓用戶有更大的選擇范圍,所以,它的商業(yè)價(jià)值與實(shí)用價(jià)值都是不可估量的。由于語(yǔ)音與口型有明顯的映射關(guān)系,可以通過(guò)這種映射關(guān)系實(shí)現(xiàn)語(yǔ)音信號(hào)對(duì)虛擬人口型動(dòng)畫(huà)的驅(qū)動(dòng)。而語(yǔ)音與虛擬人的動(dòng)作之間則沒(méi)有直接的對(duì)應(yīng)關(guān)系,很難通過(guò)語(yǔ)音信號(hào)直接驅(qū)動(dòng)虛擬人動(dòng)作。雖然目前研究者們已經(jīng)提出了許多方法,實(shí)現(xiàn)了對(duì)虛擬人的驅(qū)動(dòng),但是方法的復(fù)雜度較高,有必要對(duì)其進(jìn)行進(jìn)一步改進(jìn)。針對(duì)上述問(wèn)題,本文提出一種基于漢語(yǔ)語(yǔ)音識(shí)別的方法驅(qū)動(dòng)虛擬人,該方法通過(guò)語(yǔ)音識(shí)別,可以分別驅(qū)動(dòng)虛擬人的肢體動(dòng)作與面部動(dòng)畫(huà)。首先,建立語(yǔ)音識(shí)別模塊,將語(yǔ)音信號(hào)轉(zhuǎn)化為文本信息；其次,將語(yǔ)音識(shí)別模塊加入到虛擬人聊天系統(tǒng)中,實(shí)現(xiàn)語(yǔ)音信號(hào)對(duì)虛擬人動(dòng)作的驅(qū)動(dòng)和聊天系統(tǒng)的控制；接著將語(yǔ)音識(shí)別模塊加到三維人臉口型動(dòng)畫(huà)的系統(tǒng)中,實(shí)現(xiàn)語(yǔ)音信號(hào)對(duì)虛擬人口型動(dòng)畫(huà)以及表情細(xì)節(jié)的驅(qū)動(dòng),并通過(guò)TTS技術(shù),得到與輸入語(yǔ)音同步的三維人臉動(dòng)畫(huà)。本文使用微軟語(yǔ)音開(kāi)發(fā)包,首先通過(guò)構(gòu)建語(yǔ)音識(shí)別類,從而建立語(yǔ)音識(shí)別模塊,完成語(yǔ)音信號(hào)到文本信息的轉(zhuǎn)換,接著將語(yǔ)音識(shí)別模塊分別添加到虛擬人聊天系統(tǒng)和三維虛擬人臉動(dòng)畫(huà)的系統(tǒng)中,實(shí)現(xiàn)了漢語(yǔ)語(yǔ)音信號(hào)對(duì)虛擬人動(dòng)作和面部動(dòng)畫(huà)的驅(qū)動(dòng)。最后,實(shí)驗(yàn)結(jié)果表明該方法簡(jiǎn)單實(shí)用,識(shí)別的準(zhǔn)確率也能被用戶所接受。
【關(guān)鍵詞】：虛擬現(xiàn)實(shí) 語(yǔ)音驅(qū)動(dòng) 語(yǔ)音識(shí)別 虛擬人聊天系統(tǒng) 人臉動(dòng)畫(huà)
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TN912.3
【目錄】：

• 摘要6-7
• Abstract7-11
• 第1章 緒論11-19
• 1.1 研究背景及意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-15
• 1.2.1 人體建模與動(dòng)作合成的研究現(xiàn)狀12-13
• 1.2.2 人臉動(dòng)畫(huà)與驅(qū)動(dòng)的研究現(xiàn)狀13-15
• 1.3 研究目標(biāo)及內(nèi)容15-16
• 1.3.1 研究目標(biāo)15
• 1.3.2 研究?jī)?nèi)容15-16
• 1.4 本研究的總體框架設(shè)計(jì)16-18
• 1.5 本文結(jié)構(gòu)安排18-19
• 第2章 語(yǔ)音信號(hào)處理及特征參數(shù)的提取19-27
• 2.1 語(yǔ)音信號(hào)預(yù)處理19-21
• 2.2 特征參數(shù)分析21-22
• 2.2.1 時(shí)域分析21-22
• 2.2.2 頻域分析22
• 2.3 特征參數(shù)提取22-26
• 2.4 本章小結(jié)26-27
• 第3章 語(yǔ)音驅(qū)動(dòng)虛擬人動(dòng)作及人臉動(dòng)畫(huà)的實(shí)現(xiàn)27-39
• 3.1 語(yǔ)音識(shí)別介紹27
• 3.2 語(yǔ)音識(shí)別類的建立27-29
• 3.3 語(yǔ)音識(shí)別模塊的建立29-31
• 3.4 虛擬人模型的建立31-32
• 3.5 虛擬人動(dòng)作的合成32-34
• 3.5.1 BVH文件介紹33
• 3.5.2 虛擬人動(dòng)作合成33-34
• 3.6 語(yǔ)音驅(qū)動(dòng)聊天系統(tǒng)34-35
• 3.6.1 系統(tǒng)的建立34
• 3.6.2 語(yǔ)音驅(qū)動(dòng)聊天系統(tǒng)的實(shí)現(xiàn)34-35
• 3.7 語(yǔ)音驅(qū)動(dòng)虛擬人人臉動(dòng)畫(huà)35-38
• 3.7.1 虛擬人臉部模型36
• 3.7.2 語(yǔ)音驅(qū)動(dòng)虛擬人臉動(dòng)畫(huà)的實(shí)現(xiàn)36-38
• 3.8 本章小結(jié)38-39
• 第4章 實(shí)驗(yàn)結(jié)果分析39-48
• 4.1 實(shí)驗(yàn)環(huán)境39
• 4.2 實(shí)驗(yàn)結(jié)果39-45
• 4.2.1 虛擬人聊天系統(tǒng)39-41
• 4.2.2 虛擬人唇部動(dòng)畫(huà)與表情控制41-45
• 4.3 結(jié)果分析45-47
• 4.3.1 主觀分析45-46
• 4.3.2 客觀評(píng)價(jià)46-47
• 4.4 本章小結(jié)47-48
• 結(jié)論48-49
• 致謝49-51
• 參考文獻(xiàn)51-56
• 攻讀碩士學(xué)位期間發(fā)表的論文及科研成果56

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;交叉學(xué)科專家著手制造“虛擬人”[J];甘肅科技縱橫;2002年05期

2 ;科學(xué)家用虛擬人進(jìn)行糖尿病研究[J];系統(tǒng)仿真學(xué)報(bào);2003年03期

3 趙新培;;中國(guó)首位虛擬人終于面世[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2003年02期

4 羅冠,郝重陽(yáng),張?chǎng)?樊養(yǎng)余;虛擬人技術(shù)研究綜述[J];計(jì)算機(jī)工程;2005年18期

5 劉箴;潘志庚;;虛擬人動(dòng)機(jī)驅(qū)動(dòng)的自主情緒模型研究[J];中國(guó)圖象圖形學(xué)報(bào);2009年05期

6 卞玉龍;劉箴;;一種虛擬人追逐過(guò)程中的情緒博弈模型[J];智能系統(tǒng)學(xué)報(bào);2012年04期

7 耿欽濤;劉箴;;基于情緒驅(qū)動(dòng)的虛擬人行走模型研究[J];系統(tǒng)仿真學(xué)報(bào);2013年10期

8 曉軍;虛擬人的誕生[J];百科知識(shí);2005年19期

9 莫文;張川;;美麗“虛擬人”[J];現(xiàn)代健康人;2005年09期

10 成舸;;虛擬人的第一步[J];新知客;2009年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 劉箴;;虛擬人社會(huì)性非言語(yǔ)情緒交互研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

2 張番;陳穎;馮秀娟;溫文彪;常士楠;孫紅三;;智能化虛擬人操作行為仿真分析及實(shí)現(xiàn)[A];二○○一年中國(guó)系統(tǒng)仿真學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2001年

3 趙江;馮秀娟;孫紅三;溫文彪;鄭國(guó)磊;;虛擬人對(duì)目標(biāo)物手捕獲的實(shí)現(xiàn)[A];2003年全國(guó)系統(tǒng)仿真學(xué)術(shù)年會(huì)論文集[C];2003年

4 何雪微;龔光紅;;虛擬人運(yùn)動(dòng)的動(dòng)力學(xué)實(shí)現(xiàn)方法研究[A];2003年全國(guó)系統(tǒng)仿真學(xué)術(shù)年會(huì)論文集[C];2003年

5 盧曉軍;李焱;賀漢根;;虛擬人行走規(guī)劃仿真的研究與實(shí)現(xiàn)[A];全國(guó)第13屆計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)（CAD/CG）學(xué)術(shù)會(huì)議論文集[C];2004年

6 劉箴;;虛擬人的行為規(guī)劃模型研究[A];全國(guó)第16屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2004年

7 周小建;向楠;朱思語(yǔ);潘志庚;;基于視覺(jué)的虛擬人情感交互系統(tǒng)[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2011)論文集【poster】[C];2011年

8 鄒沐昌;代玉仁;韓春穎;;虛擬人的體育運(yùn)動(dòng)實(shí)體仿真的研究與實(shí)現(xiàn)[A];中國(guó)圖象圖形學(xué)會(huì)第十屆全國(guó)圖像圖形學(xué)術(shù)會(huì)議（CIG’2001）和第一屆全國(guó)虛擬現(xiàn)實(shí)技術(shù)研討會(huì)（CVR’2001）論文集[C];2001年

9 胡維華;錢克寵;;娛樂(lè)型跑步機(jī)上三維場(chǎng)景與多角色虛擬人的融合設(shè)計(jì)[A];中國(guó)計(jì)算機(jī)圖形學(xué)進(jìn)展2008--第七屆中國(guó)計(jì)算機(jī)圖形學(xué)大會(huì)論文集[C];2008年

10 楊長(zhǎng)水;高文;王兆其;陳益強(qiáng);;個(gè)性化虛擬人體模型驅(qū)動(dòng)方法[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 程樂(lè)華 （作者為中山大學(xué)心理系教授）;長(zhǎng)尾虛擬人：聚合人類時(shí)間和精力的長(zhǎng)尾[N];第一財(cái)經(jīng)日?qǐng)?bào);2007年

2 ;走近虛擬人[N];大眾科技報(bào);2003年

3 記者 翁淑賢;“中國(guó)虛擬人男1號(hào)”問(wèn)世[N];人民日?qǐng)?bào);2005年

4 趙何娟;程樂(lè)華：SNS將帶來(lái)新一輪社會(huì)變革[N];第一財(cái)經(jīng)日?qǐng)?bào);2007年

5 騰 月;虛擬人何時(shí)為人類做替身[N];大眾科技報(bào);2004年

6 奇 云;中國(guó)虛擬人男Ⅰ號(hào)“有血有肉”[N];大眾科技報(bào);2005年

7 明江;虛擬人離我們有多遠(yuǎn)[N];中國(guó)商報(bào);2003年

8 本報(bào)記者 項(xiàng)錚;從切片到虛擬人[N];科技日?qǐng)?bào);2002年

9 孔德芳;揭開(kāi)虛擬人的真實(shí)身份[N];科技日?qǐng)?bào);2004年

10 ;“中國(guó)虛擬人女1號(hào)”面世[N];人民日?qǐng)?bào);2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 邱世廣;維修動(dòng)作混合仿真及人機(jī)工效自動(dòng)評(píng)估方法研究[D];上海交通大學(xué);2014年

2 倪慧;自主虛擬人關(guān)鍵技術(shù)的研究[D];天津大學(xué);2007年

3 李石磊;數(shù)據(jù)和模型混合驅(qū)動(dòng)的虛擬人運(yùn)動(dòng)生成與控制技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

4 葉綠;虛擬教育環(huán)境中虛擬人（角色）技術(shù)的研究與應(yīng)用[D];浙江大學(xué);2005年

5 羅冠;虛擬人的運(yùn)動(dòng)生成及控制技術(shù)研究[D];西北工業(yè)大學(xué);2004年

6 李小寧;虛擬人微觀仿真與宏觀交互關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2013年

7 盧曉軍;維修仿真中虛擬人動(dòng)作建模與行為控制技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

8 任利鋒;虛擬環(huán)境中的虛擬人技術(shù)研究[D];浙江大學(xué);2008年

9 索寧;基于運(yùn)動(dòng)捕捉的虛擬人關(guān)鍵技術(shù)研究[D];中國(guó)礦業(yè)大學(xué)（北京）;2011年

10 向南;智能虛擬環(huán)境中虛擬人情感仿真研究[D];浙江大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 文占朝;基于流演算的智能虛擬人的研究與實(shí)現(xiàn)[D];江蘇大學(xué);2009年

2 甘凌云;基于模型分解的虛擬人骨架提取及其動(dòng)畫(huà)研究[D];西南交通大學(xué);2015年

3 費(fèi)婷婷;基于深度數(shù)據(jù)的虛擬人重建與蒙皮動(dòng)畫(huà)算法[D];安徽大學(xué);2016年

4 楊宇盟;虛擬人避障運(yùn)動(dòng)規(guī)劃與裝配操作動(dòng)作庫(kù)研究[D];華中科技大學(xué);2014年

5 崔麗君;面向大型活動(dòng)的觀眾群體行為編排與仿真方法研究[D];北京理工大學(xué);2016年

6 吳曉升;虛擬地鐵環(huán)境下的人群仿真[D];西南交通大學(xué);2016年

7 曹寧哲;完整虛擬人頭部建模及面部表情合成研究[D];西南交通大學(xué);2016年

8 李克豹;漢語(yǔ)語(yǔ)音信號(hào)驅(qū)動(dòng)虛擬人的研究[D];西南交通大學(xué);2015年

9 林本敬;情感虛擬人技術(shù)在人機(jī)交互中的應(yīng)用研究[D];北京化工大學(xué);2009年

10 伍國(guó)永;姿態(tài)可變輻射虛擬人建模研究[D];合肥工業(yè)大學(xué);2011年

，

本文編號(hào)：949232