近年來物聯(lián)網(wǎng)的發(fā)展加速了互聯(lián)網(wǎng)接入設(shè)備數(shù)量的提升,這些接入設(shè)備每天都會(huì)產(chǎn)生大量的多模態(tài)時(shí)序數(shù)據(jù)。相對(duì)于單模態(tài)數(shù)據(jù),多模態(tài)數(shù)據(jù)能夠描述更加豐富的場(chǎng)景,因此不同模態(tài)數(shù)據(jù)之間存在大量隱藏的關(guān)系有待挖掘。錯(cuò)誤發(fā)現(xiàn)是數(shù)據(jù)質(zhì)量控制過程中重要的一環(huán),在數(shù)據(jù)采集、傳輸、處理過程中,出于設(shè)備原因、系統(tǒng)原因、外部環(huán)境原因、人為原因等可能會(huì)使數(shù)據(jù)產(chǎn)生錯(cuò)誤。而對(duì)于多模態(tài)時(shí)序數(shù)據(jù),當(dāng)某個(gè)模態(tài)的數(shù)據(jù)出現(xiàn)錯(cuò)誤時(shí),我們不僅可以通過該模態(tài)錯(cuò)誤數(shù)據(jù)出現(xiàn)時(shí)間前后的數(shù)據(jù)進(jìn)行判斷,還可以通過其他模態(tài)同一時(shí)刻的數(shù)據(jù)進(jìn)行判斷。因此研究多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)算法,可以對(duì)多模態(tài)時(shí)序數(shù)據(jù)的質(zhì)量進(jìn)行檢測(cè),評(píng)估數(shù)據(jù)中是否存在錯(cuò)誤。本文的研究?jī)?nèi)容包括多模態(tài)時(shí)序數(shù)據(jù)集構(gòu)建、預(yù)處理及初步特征提取研究,基于深度學(xué)習(xí)的多模態(tài)時(shí)序數(shù)據(jù)融合算法,多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)模型三個(gè)部分。首先,本文提出了多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤添加算法,可以對(duì)指定模態(tài)指定比例的數(shù)據(jù)添加指定種類的錯(cuò)誤。本文實(shí)現(xiàn)了模態(tài)間的數(shù)據(jù)對(duì)齊,并提取了不同模態(tài)數(shù)據(jù)的初步特征。其次,本文提出了基于BiLSTM的特征提取方法,進(jìn)而提出基于混合注意力的多模態(tài)特征融合方法,首先對(duì)各模態(tài)數(shù)據(jù)的Bi LSTM網(wǎng)... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：87 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀及分析
        1.2.1 常見模態(tài)時(shí)序數(shù)據(jù)特征提取研究現(xiàn)狀及分析
        1.2.2 多模態(tài)數(shù)據(jù)融合研究現(xiàn)狀及分析
        1.2.3 研究現(xiàn)狀總結(jié)
    1.3 本文的主要研究?jī)?nèi)容
    1.4 本文的組織結(jié)構(gòu)
第2章 多模態(tài)時(shí)序數(shù)據(jù)初步特征提取
    2.1 引言
    2.2 原始數(shù)據(jù)集及數(shù)據(jù)導(dǎo)入框架
MOSI">        2.2.1 原始數(shù)據(jù)集CMU_MOSI
        2.2.2 CMU-Multimodal Data SDK
    2.3 多模態(tài)錯(cuò)誤發(fā)現(xiàn)時(shí)序數(shù)據(jù)集的構(gòu)建
        2.3.1 多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤類型
        2.3.2 多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤添加方法
    2.4 多模態(tài)時(shí)序數(shù)據(jù)預(yù)處理
        2.4.1 多模態(tài)時(shí)序數(shù)據(jù)對(duì)齊
        2.4.2 多模態(tài)時(shí)序數(shù)據(jù)整理
    2.5 多模態(tài)時(shí)序數(shù)據(jù)初步特征提取
        2.5.1 視頻數(shù)據(jù)初步特征提取
        2.5.2 音頻數(shù)據(jù)初步特征提取
        2.5.3 文本數(shù)據(jù)初步特征提取
    2.6 本章小結(jié)
第3章 面向多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)的融合方法
    3.1 引言
    3.2 深度特征提取
        3.2.1 長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM
        3.2.2 基于BiLSTM的深度特征提取方法
    3.3 Tensor-Fusion特征融合方法
        3.3.1 Tensor-Fusion特征融合方法介紹
        3.3.2 Tensor-Fusion特征融合方法的不足
    3.4 基于混合注意力的特征融合方法
        3.4.1 模態(tài)內(nèi)注意力機(jī)制
        3.4.2 多模態(tài)特征融合
        3.4.3 模態(tài)間注意力機(jī)制
    3.5 本章小結(jié)
第4章 多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)模型
    4.1 引言
        4.1.1 多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)問題定義
    4.2 基于TENSOR-FUSION的多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)模型（TFMTED）
        4.2.1 模型介紹
        4.2.2 存在的問題
    4.3 基于混合注意力融合的多模態(tài)時(shí)序數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)模型（HAMTED）
        4.3.1 模型介紹
        4.3.2 HAMTED對(duì) TFMTED模型的改進(jìn)
    4.4 實(shí)驗(yàn)結(jié)果
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)及環(huán)境
        4.4.2 模型評(píng)價(jià)標(biāo)準(zhǔn)
        4.4.3 實(shí)驗(yàn)設(shè)計(jì)及參數(shù)設(shè)置
        4.4.4 實(shí)驗(yàn)結(jié)果與分析
    4.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]基于詞頻統(tǒng)計(jì)的文本關(guān)鍵詞提取方法[J]. 羅燕,趙書良,李曉超,韓玉輝,丁亞飛.  計(jì)算機(jī)應(yīng)用. 2016(03)
[2]中文文本分類中特征抽取方法的比較研究[J]. 代六玲,黃河燕,陳肇雄.  中文信息學(xué)報(bào). 2004(01)
[3]基于概念的文本類別特征提取與文本模糊匹配[J]. 羅三定,陸文彥,王浩,賈維嘉.  計(jì)算機(jī)工程與應(yīng)用. 2002(16)



本文編號(hào)：2990756