發(fā)布時(shí)間：2024-03-24 02:33

　　自動(dòng)唇讀是一種集計(jì)算機(jī)視覺、人工智能與自然語言處理于一體的綜合技術(shù),可以直接從人講話時(shí)的嘴唇動(dòng)作圖像序列中識別講話內(nèi)容,是一種新型的人機(jī)交互方式。近年來,隨著人工智能技術(shù)的快速發(fā)展,唇語識別技術(shù)也越發(fā)的更加成熟起來,其網(wǎng)絡(luò)模型的識別準(zhǔn)確率也有著明顯的提高。本文利用公開數(shù)據(jù)集GRID語料庫中的視頻數(shù)據(jù),在GPU平臺上搭建了一個(gè)固定結(jié)構(gòu)語句的唇語識別系統(tǒng),固定結(jié)構(gòu)語句中包括命令、顏色、介詞、字母、數(shù)字以及副詞,例如:“Place blue in m one soon”。所有語句都采用這樣的結(jié)構(gòu),該系統(tǒng)是一個(gè)句子層面的唇語識別系統(tǒng)。我們采用一種耦合三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)和雙向長短期記憶網(wǎng)絡(luò)(Bi-LSTM)相結(jié)合的網(wǎng)絡(luò)架構(gòu)對輸入的連續(xù)75張圖片數(shù)據(jù)進(jìn)行特征提取,同時(shí),為了不對輸入的每一幀圖片數(shù)據(jù)和標(biāo)簽數(shù)據(jù)進(jìn)行人工對齊操作,我們采用了CTC損失函數(shù)作為唇語識別系統(tǒng)的模型訓(xùn)練損失。采用CTC作為損失函數(shù)的唇語識別系統(tǒng)模型訓(xùn)練,是一種完全端到端的唇語識別系統(tǒng)模型訓(xùn)練,不需要預(yù)先對數(shù)據(jù)做對齊,只需要一個(gè)連續(xù)動(dòng)作的嘴部圖像輸入序列和一個(gè)標(biāo)簽輸出序列即可以訓(xùn)練網(wǎng)絡(luò)模型。本文使用的網(wǎng)絡(luò)結(jié)構(gòu)較小,...

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-5標(biāo)準(zhǔn)正太分布圖

第二章神經(jīng)網(wǎng)絡(luò)理論9維的特征向量，在這一層中，所有的神經(jīng)元都會(huì)兩兩進(jìn)行連接，目的是把前一層的神經(jīng)元特征都綜合起來，所以一個(gè)網(wǎng)絡(luò)的絕大多數(shù)參數(shù)都集中在了全連接層。它的最終目的是將最后一層卷積得到的特征圖轉(zhuǎn)換成向量，然后對這個(gè)向量做乘法，最終降低其維度，全連接層輸出的數(shù)據(jù)經(jīng)過soft....

圖2-6Sigmoid函數(shù)圖像

第二章神經(jīng)網(wǎng)絡(luò)理論10當(dāng)網(wǎng)絡(luò)的激活函數(shù)為Sigmoid函數(shù)時(shí)，其公式為:()=11+(2-3)下圖2-6為Sigmoid函數(shù)圖像。圖2-6Sigmoid函數(shù)圖像對Sigmoid函數(shù)進(jìn)行求導(dǎo)操作，其導(dǎo)數(shù)公式如下所示:()=()(1())(2-4)圖2-7為Sigmoid導(dǎo)函數(shù)對應(yīng)的....

圖2-7Sigmoid導(dǎo)函數(shù)圖像

第二章神經(jīng)網(wǎng)絡(luò)理論10當(dāng)網(wǎng)絡(luò)的激活函數(shù)為Sigmoid函數(shù)時(shí)，其公式為:()=11+(2-3)下圖2-6為Sigmoid函數(shù)圖像。圖2-6Sigmoid函數(shù)圖像對Sigmoid函數(shù)進(jìn)行求導(dǎo)操作，其導(dǎo)數(shù)公式如下所示:()=()(1())(2-4)圖2-7為Sigmoid導(dǎo)函數(shù)對應(yīng)的....

圖3-2部分視頻標(biāo)簽

第三章訓(xùn)練數(shù)據(jù)集的制作

本文編號：3936835