基于深度相機(jī)數(shù)據(jù)驅(qū)動(dòng)的人形機(jī)器人運(yùn)動(dòng)及算法研究
發(fā)布時(shí)間:2021-07-04 04:13
機(jī)器人技術(shù)一直是人工智能領(lǐng)域的熱點(diǎn)。為了能提高社會(huì)生產(chǎn)力,改善人們的生活方式,一代又一代的科研人員為能解放人類的勞動(dòng)或者特殊場(chǎng)合代替人類而致力于機(jī)器人技術(shù)的研究。隨著理論知識(shí)和實(shí)踐經(jīng)驗(yàn)的不斷完善,各種類型的機(jī)器人開始出現(xiàn)在人們的日常生活中。當(dāng)然,最為常見的一些是根據(jù)控制器或者語(yǔ)音實(shí)現(xiàn)對(duì)機(jī)器人的控制,如一些輪式的掃地機(jī)器人等。在機(jī)器人領(lǐng)域中,輪式的移動(dòng)方式更為流行,而如人類般的步行較為罕見。因?yàn)?步行所涉及的知識(shí)更為復(fù)雜,不易于產(chǎn)品的設(shè)計(jì),而本文則采用了仿人型機(jī)器人作為研究對(duì)象。相比于傳統(tǒng)的控制器和語(yǔ)音控制機(jī)器人,本文將使用Kinect采集的數(shù)據(jù),利用姿勢(shì)和手型識(shí)別控制機(jī)器人。將新型的人機(jī)交互方式與熱門的仿人機(jī)器人進(jìn)行結(jié)合,完成本次課題的研究,其主要研究?jī)?nèi)容如下:(1)在詳細(xì)了解Kinect傳感器的工作原理后,利用它所采集的彩色數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)進(jìn)行姿勢(shì)識(shí)別和手型識(shí)別。通過Kinect采集的骨骼數(shù)據(jù),利用所得表征關(guān)節(jié)的深度數(shù)據(jù)(空間信息)建立空間向量,根據(jù)表示運(yùn)動(dòng)的空間關(guān)節(jié)向量的夾角計(jì)算結(jié)果,從而完成人體姿勢(shì)的識(shí)別判斷,并進(jìn)行姿勢(shì)識(shí)別實(shí)驗(yàn),發(fā)現(xiàn)實(shí)時(shí)的人體姿勢(shì)識(shí)別率還不錯(cuò)。(2)相比...
【文章來(lái)源】:浙江師范大學(xué)浙江省
【文章頁(yè)數(shù)】:76 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
KinectforXbox360PrimeSense公司研制的PS1080芯片對(duì)于Kinect非常得重要
第 3 章 姿態(tài)識(shí)別3.2.2 靜態(tài)姿勢(shì)實(shí)驗(yàn)驗(yàn)證Kinect 在進(jìn)行人體骨骼追蹤時(shí),并不能獲取精準(zhǔn)的人體骨骼關(guān)節(jié)點(diǎn),而是根據(jù)鏡頭前的人體的深度圖像生成相對(duì)準(zhǔn)確的 20 個(gè)骨骼關(guān)節(jié)點(diǎn)。根據(jù)相應(yīng)骨骼關(guān)節(jié)點(diǎn)形成的空間向量,利用相應(yīng)的算法進(jìn)行計(jì)算后,可以估計(jì)人體所做的靜態(tài)姿勢(shì),如雙手舉起等動(dòng)作。本次實(shí)驗(yàn)主要對(duì)雙手舉起、左手舉起右手平舉、雙手平舉和右手平舉這四個(gè)動(dòng)作進(jìn)行驗(yàn)證,其實(shí)驗(yàn)過程如圖 3.5 所示。
通過 Kinect 設(shè)備,我們可以同時(shí)得到深度和彩色數(shù)據(jù)流。其中,深度圖像中像素信息表示場(chǎng)景中校準(zhǔn)后的距離信息。為了從圖像中獲得人體,我們可以使 Kinect 提供的前景分割功能。這個(gè)功能函數(shù)的主要思想是使用特定閾值來(lái)過背景的深度信息。本文使用 Kinect 進(jìn)行深度圖像采集,如圖 4.2(a)所示。然后,使用 Kinect 為個(gè)對(duì)象隨機(jī)分配的人體索引號(hào)獲取人體所在的深度區(qū)間,進(jìn)而便可得到只有人的深度圖像,如圖 4.2(b)所示。通過 Kinect 的骨骼追蹤技術(shù),獲得人體的 20 個(gè)節(jié)點(diǎn)位置,利用手部關(guān)節(jié)點(diǎn)位置,便可獲得手部的深度圖和彩色圖。Kinect 使激光散斑原理獲取深度信息,故手部輪廓會(huì)顯得粗糙,邊緣上有許多孔和噪聲。如果不對(duì)深度圖進(jìn)行處理,對(duì)后面的特征提取時(shí),可能會(huì)造成一些誤差。因,我們先對(duì)深度圖進(jìn)行中值濾波,使得手部輪廓平滑沒有噪聲點(diǎn)。其處理后的型二值圖和彩色圖,如圖 4.3(a)和 4.3(b)所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于Arduino UNO的平衡車設(shè)計(jì)[J]. 丁倩雯,徐紅紅. 西安文理學(xué)院學(xué)報(bào)(自然科學(xué)版). 2019(01)
[2]用于創(chuàng)新實(shí)踐教學(xué)的擬人行走智能機(jī)器人設(shè)計(jì)[J]. 傅宇楊,李知菲. 中國(guó)信息技術(shù)教育. 2018(10)
[3]基于Kinect V2.0的6自由度機(jī)械臂控制系統(tǒng)的實(shí)現(xiàn)[J]. 鐘君,曹建樹. 機(jī)床與液壓. 2018(09)
[4]基于自然手勢(shì)交互的工業(yè)機(jī)器人示教系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 陳暢,陳亮,周雪峰. 制造業(yè)自動(dòng)化. 2018(02)
[5]雙足機(jī)器人步態(tài)規(guī)劃方法研究[J]. 李攀,魏洪興. 機(jī)械工程與自動(dòng)化. 2017(04)
[6]基于Kinect虛擬文物互動(dòng)展示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王向強(qiáng),黃俊,張作運(yùn). 微型機(jī)與應(yīng)用. 2017(02)
[7]基于Pixy Cmucam5圖像識(shí)別傳感器的物品分揀裝置[J]. 張桂紅. 電子制作. 2016(20)
[8]基于骨骼和深度信息的手勢(shì)識(shí)別的研究與應(yīng)用[J]. 吳彩芳,謝鈞,俞璐. 計(jì)算機(jī)技術(shù)與發(fā)展. 2016(08)
[9]基于Matlab圖像識(shí)別的Delta并聯(lián)機(jī)械手連續(xù)軌跡規(guī)劃[J]. 劉亞男,張承瑞,郎需林,仲斐,張聰. 機(jī)床與液壓. 2014(15)
[10]我國(guó)工業(yè)機(jī)器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J]. 王田苗,陶永. 機(jī)械工程學(xué)報(bào). 2014(09)
碩士論文
[1]助行機(jī)器人使用者運(yùn)動(dòng)意圖識(shí)別方法研究[D]. 劉子源.沈陽(yáng)工業(yè)大學(xué) 2018
[2]基于姿態(tài)和骨架信息的行為識(shí)別方法研究與實(shí)現(xiàn)[D]. 馬靜.山東大學(xué) 2018
[3]基于Kinect的人體姿態(tài)識(shí)別和機(jī)器人控制[D]. 蔣亞杰.深圳大學(xué) 2017
[4]雙足步行機(jī)器人的步態(tài)規(guī)劃與神經(jīng)網(wǎng)絡(luò)控制[D]. 張洪賓.華南理工大學(xué) 2016
[5]雙足機(jī)器人運(yùn)動(dòng)控制系統(tǒng)的研究[D]. 查望華.浙江大學(xué) 2016
[6]基于深度圖像的人體運(yùn)動(dòng)檢測(cè)及其步態(tài)分析研究[D]. 楊方波.杭州電子科技大學(xué) 2016
[7]基于Kinect彩色圖像及深度信息的人體檢測(cè)研究[D]. 石洋.西華大學(xué) 2016
[8]基于ARM小型雙足機(jī)器人的設(shè)計(jì)與研究[D]. 魏君.石家莊鐵道大學(xué) 2016
[9]基于體感的空間機(jī)器臂人機(jī)交互技術(shù)[D]. 范勇濤.西安電子科技大學(xué) 2015
[10]基于Kinect手勢(shì)識(shí)別與機(jī)器人編隊(duì)的人機(jī)交互系統(tǒng)的研究[D]. 曾軍.東北大學(xué) 2015
本文編號(hào):3264009
【文章來(lái)源】:浙江師范大學(xué)浙江省
【文章頁(yè)數(shù)】:76 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
KinectforXbox360PrimeSense公司研制的PS1080芯片對(duì)于Kinect非常得重要
第 3 章 姿態(tài)識(shí)別3.2.2 靜態(tài)姿勢(shì)實(shí)驗(yàn)驗(yàn)證Kinect 在進(jìn)行人體骨骼追蹤時(shí),并不能獲取精準(zhǔn)的人體骨骼關(guān)節(jié)點(diǎn),而是根據(jù)鏡頭前的人體的深度圖像生成相對(duì)準(zhǔn)確的 20 個(gè)骨骼關(guān)節(jié)點(diǎn)。根據(jù)相應(yīng)骨骼關(guān)節(jié)點(diǎn)形成的空間向量,利用相應(yīng)的算法進(jìn)行計(jì)算后,可以估計(jì)人體所做的靜態(tài)姿勢(shì),如雙手舉起等動(dòng)作。本次實(shí)驗(yàn)主要對(duì)雙手舉起、左手舉起右手平舉、雙手平舉和右手平舉這四個(gè)動(dòng)作進(jìn)行驗(yàn)證,其實(shí)驗(yàn)過程如圖 3.5 所示。
通過 Kinect 設(shè)備,我們可以同時(shí)得到深度和彩色數(shù)據(jù)流。其中,深度圖像中像素信息表示場(chǎng)景中校準(zhǔn)后的距離信息。為了從圖像中獲得人體,我們可以使 Kinect 提供的前景分割功能。這個(gè)功能函數(shù)的主要思想是使用特定閾值來(lái)過背景的深度信息。本文使用 Kinect 進(jìn)行深度圖像采集,如圖 4.2(a)所示。然后,使用 Kinect 為個(gè)對(duì)象隨機(jī)分配的人體索引號(hào)獲取人體所在的深度區(qū)間,進(jìn)而便可得到只有人的深度圖像,如圖 4.2(b)所示。通過 Kinect 的骨骼追蹤技術(shù),獲得人體的 20 個(gè)節(jié)點(diǎn)位置,利用手部關(guān)節(jié)點(diǎn)位置,便可獲得手部的深度圖和彩色圖。Kinect 使激光散斑原理獲取深度信息,故手部輪廓會(huì)顯得粗糙,邊緣上有許多孔和噪聲。如果不對(duì)深度圖進(jìn)行處理,對(duì)后面的特征提取時(shí),可能會(huì)造成一些誤差。因,我們先對(duì)深度圖進(jìn)行中值濾波,使得手部輪廓平滑沒有噪聲點(diǎn)。其處理后的型二值圖和彩色圖,如圖 4.3(a)和 4.3(b)所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于Arduino UNO的平衡車設(shè)計(jì)[J]. 丁倩雯,徐紅紅. 西安文理學(xué)院學(xué)報(bào)(自然科學(xué)版). 2019(01)
[2]用于創(chuàng)新實(shí)踐教學(xué)的擬人行走智能機(jī)器人設(shè)計(jì)[J]. 傅宇楊,李知菲. 中國(guó)信息技術(shù)教育. 2018(10)
[3]基于Kinect V2.0的6自由度機(jī)械臂控制系統(tǒng)的實(shí)現(xiàn)[J]. 鐘君,曹建樹. 機(jī)床與液壓. 2018(09)
[4]基于自然手勢(shì)交互的工業(yè)機(jī)器人示教系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 陳暢,陳亮,周雪峰. 制造業(yè)自動(dòng)化. 2018(02)
[5]雙足機(jī)器人步態(tài)規(guī)劃方法研究[J]. 李攀,魏洪興. 機(jī)械工程與自動(dòng)化. 2017(04)
[6]基于Kinect虛擬文物互動(dòng)展示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王向強(qiáng),黃俊,張作運(yùn). 微型機(jī)與應(yīng)用. 2017(02)
[7]基于Pixy Cmucam5圖像識(shí)別傳感器的物品分揀裝置[J]. 張桂紅. 電子制作. 2016(20)
[8]基于骨骼和深度信息的手勢(shì)識(shí)別的研究與應(yīng)用[J]. 吳彩芳,謝鈞,俞璐. 計(jì)算機(jī)技術(shù)與發(fā)展. 2016(08)
[9]基于Matlab圖像識(shí)別的Delta并聯(lián)機(jī)械手連續(xù)軌跡規(guī)劃[J]. 劉亞男,張承瑞,郎需林,仲斐,張聰. 機(jī)床與液壓. 2014(15)
[10]我國(guó)工業(yè)機(jī)器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J]. 王田苗,陶永. 機(jī)械工程學(xué)報(bào). 2014(09)
碩士論文
[1]助行機(jī)器人使用者運(yùn)動(dòng)意圖識(shí)別方法研究[D]. 劉子源.沈陽(yáng)工業(yè)大學(xué) 2018
[2]基于姿態(tài)和骨架信息的行為識(shí)別方法研究與實(shí)現(xiàn)[D]. 馬靜.山東大學(xué) 2018
[3]基于Kinect的人體姿態(tài)識(shí)別和機(jī)器人控制[D]. 蔣亞杰.深圳大學(xué) 2017
[4]雙足步行機(jī)器人的步態(tài)規(guī)劃與神經(jīng)網(wǎng)絡(luò)控制[D]. 張洪賓.華南理工大學(xué) 2016
[5]雙足機(jī)器人運(yùn)動(dòng)控制系統(tǒng)的研究[D]. 查望華.浙江大學(xué) 2016
[6]基于深度圖像的人體運(yùn)動(dòng)檢測(cè)及其步態(tài)分析研究[D]. 楊方波.杭州電子科技大學(xué) 2016
[7]基于Kinect彩色圖像及深度信息的人體檢測(cè)研究[D]. 石洋.西華大學(xué) 2016
[8]基于ARM小型雙足機(jī)器人的設(shè)計(jì)與研究[D]. 魏君.石家莊鐵道大學(xué) 2016
[9]基于體感的空間機(jī)器臂人機(jī)交互技術(shù)[D]. 范勇濤.西安電子科技大學(xué) 2015
[10]基于Kinect手勢(shì)識(shí)別與機(jī)器人編隊(duì)的人機(jī)交互系統(tǒng)的研究[D]. 曾軍.東北大學(xué) 2015
本文編號(hào):3264009
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3264009.html
最近更新
教材專著