手語視頻翻譯技術是一種將手語視頻翻譯成文字的方法,不僅可以解決聾啞人群體和正常人交流的問題,也能打破不同國度和不同語種間的手語界限,實現(xiàn)不同人群的有效交流。同時,由于以深度學習為代表的人工智能技術正在快速進步,不斷地向貼近大眾生活的方向發(fā)展,因此基于深度學習技術的手語視頻翻譯研究正成為研究者爭相研究的熱點。本文基于時域卷積網(wǎng)絡（Temporal Convolution Network,TCN）和雙路門控單元（Bidirectional Gated Recurrent Unit,BGRU）提出了 一種雙路并行的時序?qū)W習模型。該時序?qū)W習模型一方面利用TCN來捕獲短時的局部相關性信息,另一方面利用BGRU來捕獲長時的上下文信息,從而充分利用視頻幀之間的時序信息。在將兩路網(wǎng)絡進行后端融合后,利用級聯(lián)時序分類（Connectionist Temporal Classification,CTC）函數(shù)對來整個時序?qū)W習模型進行端到端的訓練。該模型在德國手語天氣數(shù)據(jù)集上較單一的TCN或BGRU較好值相比,降低了 0.3%的詞錯率,有效驗證了本方法的合理性。此外,本文針對手語視頻中監(jiān)督信息不足（視頻片段和... 

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 基于傳統(tǒng)方法的手語翻譯算法
        1.2.2 基于深度學習的手語翻譯算法
    1.3 研究內(nèi)容及組織結構
第二章 深度學習基礎
    2.1 神經(jīng)網(wǎng)絡算法基礎
        2.1.1 多層感知機
        2.1.2 卷積神經(jīng)網(wǎng)絡
        2.1.3 循環(huán)神經(jīng)網(wǎng)絡
    2.2 編碼解碼模型
        2.2.1 編解碼基礎結構
        2.2.2 注意力機制
    2.3 級聯(lián)時序分類算法
    2.4 本章小結
第三章 基于時域卷積與雙向門控單元融合的時序?qū)W習模型
    3.1 方法描述
    3.2 時域卷積學習模塊
        3.2.1 時域卷積模型TCN概要
        3.2.2 基于TCN卷積的時序?qū)W習模塊
    3.3 雙向門控單元時序?qū)W習模塊
        3.3.1 雙向門控單元模塊概要
        3.3.2 基于BGRU的時序?qū)W習模塊
    3.4 基于雙路時序得分融合的CTC優(yōu)化
        3.4.1 雙路時序得分融合模塊
        3.4.2 CTC分類優(yōu)化
    3.5 實驗結果與分析
        3.5.1 實驗數(shù)據(jù)集與評價指標
        3.5.2 實驗參數(shù)設置
        3.5.3 網(wǎng)絡與單路網(wǎng)絡對比實驗
        3.5.4 與其他手語翻譯方法的對比
    3.6 小結
第四章 基于偽監(jiān)督學習連續(xù)手語翻譯
    4.1 偽監(jiān)督學習簡介
    4.2 模型描述
        4.2.1 3D CNN特征提取
        4.2.2 序列對齊學習
        4.2.3 偽監(jiān)督學習優(yōu)化策略
    4.3 實驗分析
        4.3.1 實驗數(shù)據(jù)集與評價指標
        4.3.2 實驗參數(shù)設置
        4.3.3 模型驗證
        4.3.4 與現(xiàn)有方法對比
    4.4 小結
第五章 總結與展望
    5.1 工作總結
    5.2 未來展望
參考文獻
攻讀碩士學位期間的學術活動及成果情況


【參考文獻】：
期刊論文
[1]基于深度學習的手語識別綜述[J]. 張淑軍,張群,李輝.  電子與信息學報. 2020(04)
[2]基于深度學習的中國手語翻譯[J]. 袁甜甜,胡彬,楊學,趙偉.  電視技術. 2019(02)
[3]馬爾可夫及隱馬爾可夫模型的應用[J]. 黃崗.  電子設計工程. 2013(17)



本文編號：3705617