“察言觀色”是正常人類的基本生活交流能力,對(duì)人類動(dòng)作和行為的分析和理解是現(xiàn)代心理學(xué)的主要研究?jī)?nèi)容之一。隨著人工智能的發(fā)展和人類計(jì)算能力的提升,人體動(dòng)作識(shí)別逐漸成為計(jì)算機(jī)視覺(jué)以及圖像處理領(lǐng)域的研究熱點(diǎn)之一,該方向不僅擁有重要的理論研究?jī)r(jià)值,還有著廣泛的應(yīng)用前景。其主要原因是人體動(dòng)作識(shí)別在人機(jī)交互、健康監(jiān)護(hù)、智能安防、視頻分析等研究領(lǐng)域中的潛在應(yīng)用價(jià)值。本論文依托于國(guó)家自然科學(xué)基金面上項(xiàng)目《基于RGBD圖像序列和加速度信號(hào)融合的人體動(dòng)作識(shí)別方法研究》,開(kāi)展了對(duì)面向復(fù)雜現(xiàn)實(shí)場(chǎng)景下多模態(tài)信息融合需求的人體動(dòng)作識(shí)別問(wèn)題的研究。本論文將課題從兩方面展開(kāi)即:“基于單模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別”與“基于多模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別”。首先,對(duì)于單一模態(tài)數(shù)據(jù)下的動(dòng)作識(shí)別,本論文的主要工作和貢獻(xiàn)如下:（1）基于加速度數(shù)據(jù)的時(shí)頻域特征融合的人體動(dòng)作識(shí)別方法。本文提出了基于加速度數(shù)據(jù)的時(shí)頻域特征融合的識(shí)別方法,提取加速度數(shù)據(jù)的頻域特征即短時(shí)傅里葉變換（FFT）。實(shí)驗(yàn)分析得知其對(duì)身體局部小動(dòng)作和四肢大動(dòng)作的區(qū)分度很高,但是其較難區(qū)分對(duì)動(dòng)作頻率敏感的動(dòng)作。然后提取加速度數(shù)據(jù)的時(shí)頻域特征即小... 

【文章來(lái)源】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究概況
        1.2.1 基于單模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別研究
        1.2.2 基于多模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別研究
    1.3 基于多模態(tài)信息融合的人體動(dòng)作識(shí)別研究?jī)?nèi)容與難點(diǎn)
    1.4 論文框架與組織結(jié)構(gòu)
第2章 基于多模態(tài)信息融合的人體動(dòng)作識(shí)別研究的相關(guān)知識(shí)
    2.1 人體動(dòng)作識(shí)別研究的相關(guān)知識(shí)
        2.1.1 底層特征提取與表示方法
        2.1.2 人體動(dòng)作識(shí)別在深度學(xué)習(xí)中的典型網(wǎng)絡(luò)框架
    2.2 多模態(tài)信息融合研究的相關(guān)知識(shí)
        2.2.1 多模態(tài)像素級(jí)別融合方法
        2.2.2 多模態(tài)特征級(jí)別融合方法
        2.2.3 多模態(tài)分?jǐn)?shù)級(jí)別融合方法
    2.3 人體動(dòng)作識(shí)別公共數(shù)據(jù)集
        2.3.1 實(shí)驗(yàn)室數(shù)據(jù)集
        2.3.2 網(wǎng)絡(luò)數(shù)據(jù)集
    2.4 本章小結(jié)
第3章 基于單模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別
    3.1 基于加速度數(shù)據(jù)的時(shí)頻域特征融合的人體動(dòng)作識(shí)別方法
        3.1.1 加速度數(shù)據(jù)預(yù)處理
        3.1.2 基于時(shí)頻域分析的特征提取與表示方法
        3.1.3 實(shí)驗(yàn)整體設(shè)計(jì)
        3.1.4 實(shí)驗(yàn)分析與討論
        3.1.5 方法小結(jié)
    3.2 基于骨架數(shù)據(jù)的時(shí)空特征融合的人體動(dòng)作識(shí)別方法
        3.2.1 基于角度空間的幾何特征表示方法
        3.2.2 基于骨架節(jié)點(diǎn)動(dòng)量的特征表示方法
        3.2.3 實(shí)驗(yàn)整體設(shè)計(jì)
        3.2.4 實(shí)驗(yàn)分析與討論
        3.2.5 方法小結(jié)
    3.3 本章小結(jié)
第4章 基于多模態(tài)數(shù)據(jù)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別
    4.1 基于相關(guān)分析的多模態(tài)異構(gòu)特征信息融合的人體動(dòng)作識(shí)別方法
        4.1.1 實(shí)驗(yàn)整體設(shè)計(jì)
        4.1.2 實(shí)驗(yàn)分析與討論
    4.2 本章小結(jié)
第5章 多模態(tài)人體動(dòng)作識(shí)別采集系統(tǒng)平臺(tái)
    5.1 采集系統(tǒng)平臺(tái)概述
        5.1.1 軟件系統(tǒng)設(shè)計(jì)
        5.1.2 硬件環(huán)境要求
    5.2 基于實(shí)驗(yàn)室環(huán)境的多模態(tài)交叉視角人體動(dòng)作識(shí)別數(shù)據(jù)集
        5.2.1 數(shù)據(jù)集概述
        5.2.2 采集設(shè)備搭建
        5.2.3 數(shù)據(jù)模態(tài)
    5.3 模擬真實(shí)世界的大型多模態(tài)長(zhǎng)序列人體動(dòng)作識(shí)別數(shù)據(jù)集
        5.3.1 數(shù)據(jù)集采集的必要性分析
        5.3.2 動(dòng)作類別設(shè)計(jì)
        5.3.3 采集設(shè)備搭建
        5.3.4 采集過(guò)程設(shè)計(jì)
        5.3.5 數(shù)據(jù)模態(tài)
        5.3.6 數(shù)據(jù)標(biāo)注
        5.3.7 測(cè)試協(xié)議
        5.3.8 數(shù)據(jù)集特性分析
        5.3.9 與現(xiàn)有數(shù)據(jù)集的對(duì)比
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來(lái)展望
參考文獻(xiàn)
致謝
作者簡(jiǎn)歷及攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與研究成果



本文編號(hào)：3432636