【摘要】：家庭服務機器人對其服務對象行為的理解和感知是機器人人機交互技術亟需解決的核心問題,也是其自主化及智能化水平的重要體現(xiàn)。伴隨三維時空建模研究的深入,基于局部時空特征的人體行為識別技術受到了越來越多研究者的關注。人眼感知是一個視覺刺激信息通過多級協(xié)作雙向傳播的過程,僅基于單一的圖像特性并不能使機器人具備可靠的人眼識別能力,需要更加深入的優(yōu)化多種特征的描述機理及融合策略。可見,機器人行為感知技術是建立在三維時空建模與多特征融合策略基礎上更為復雜的計算機認知技術,準確的行為感知能力是實現(xiàn)機器人自主任務規(guī)劃的先決條件。本文面向家庭服務機器人行為感知問題,圍繞局部時空特征展開相關研究工作。首先,基于時空興趣點采樣策略,提出了采用自適應變異粒子群優(yōu)化SVM的行為識別算法。其次,基于圖像多尺度密集采樣策略,針對軌跡特征在濾除背景噪聲干擾、描述人體結(jié)構和交互語義信息方面的不足進行了深入探討,并提出了相應的改進方案。最后,基于人體行為感知技術設計了多機器人服務系統(tǒng)整體框架,并通過實際測試驗證了其有效性和可行性。所涉及的主要研究內(nèi)容如下:(1)為了提高算法對視頻序列中人體行為的識別能力,建立了基于局部時空特征的行為識別框架。首先,采用Harris3D檢測器獲取時空興趣點(Space Time Interest Points,STIP),以方向梯度直方圖和光流方向直方圖對STIP進行描述,并引入Fisher向量實現(xiàn)對特征描述子的編碼。其次,針對傳統(tǒng)參數(shù)設定策略下SVM行為分類模型存在的泛化能力不足問題,將粒子群算法應用于各行為分類器參數(shù)尋優(yōu)過程中,通過考慮種群多樣性逐代變化的情況,構建粒子聚集度模型,并利用其動態(tài)地調(diào)節(jié)各代粒子的變異概率。最后,在KTH和HMDB51數(shù)據(jù)集上對所提方法進行驗證,結(jié)果表明所提自適應變異粒子群算法收斂性能良好且整體識別框架具有較高的實用性和準確性。(2)針對密集軌跡特征中背景軌跡不能被有效濾除的問題,提出了一種基于多尺度混合掩模的前景軌跡(Foreground Trajectories on Multi-scale Hybrid Masks,HM-FTs)提取方法。首先,利用光流計算視頻幀的運動邊界圖像以生成初始掩模。其次,采用中心先驗和暗通道先驗檢測圖像前景區(qū)域,通過基于元胞自動機的同步更新機制對其進行優(yōu)化后獲得弱顯著圖。隨后,將弱顯著圖與利用多核增強算法提取的強顯著圖融合得到運動前景區(qū)域,并采用協(xié)同優(yōu)化策略和掩模交叉生成多尺度混合掩模。最后,通過設計有效的補償方案實現(xiàn)對前景軌跡的優(yōu)化。在基準數(shù)據(jù)集上的測試結(jié)果表明,所提方法能夠提取與運動人體密切相關的前景軌跡,顯著改善原始軌跡特征的判別性能。(3)為了解決密集軌跡特征對于人體結(jié)構信息描述不足的問題,同時有效利用不同人工選定特征對于特定行為的敏感度差異,提出了一種基于視覺詞袋(Bag-of-Visual-Words,BoVW)模型和DS(Dempster-Shafer,DS)證據(jù)理論的通用可擴展加權評分級特征融合方法。首先,選擇訓練集中的部分樣本構建驗證集。隨后,從這些樣本中提取局部時空特征和人體姿態(tài)特征以獲取所需的證據(jù)信息。通過DS證據(jù)理論和適者生存規(guī)則完成證據(jù)合成,并計算優(yōu)化后的不同特征關于特定行為的權重向量。最后,根據(jù)加權求和策略推斷出當前行為類別標簽。實驗結(jié)果表明,所提加權評分級特征融合方法可以充分利用多種人工選定特征之間的互補性,切實提高算法的行為識別準確率。(4)針對基于BoVW框架的局部時空特征不能有效編碼交互語義信息的問題,提出了一種時空語義特征(Spatio-temporal Semantic Feature,ST-SF),并基于信息熵理論將其轉(zhuǎn)換為有助于正確決策的輔助判別依據(jù)。首先,通過設計文本相關性分析(Text-based Relevance Analysis,TRA)策略估計與行為密切相關的對象文本標簽集合,并利用其訓練更具針對性的目標檢測器。其次,采用幀間協(xié)同性和動態(tài)規(guī)劃算法對虛假檢測進行優(yōu)化以獲取有效的目標時空管道,隨后應用ST-SF特征對交互語義信息進行編碼。最后,基于訓練集樣本的ST-SF矢量空間分布定義了特征熵概念及決策增益的計算方法,由此構建了一種包含兩階段的行為分類框架。在三個行為數(shù)據(jù)集上的實驗結(jié)果顯示,所提方法相比于已有算法具有明顯的性能改善,并且能夠有效地編碼交互語義信息,實現(xiàn)真實場景下的魯棒行為識別。(5)利用單目視覺傳感器獲取真實室內(nèi)場景下的行為視頻片段,通過將上述行為識別算法應用于實際的服務機器人系統(tǒng),使其具備魯棒的自主行為感知及交互任務執(zhí)行能力。首先,基于傳感器網(wǎng)絡、傳送機器人和智能抓取機器人,構建用于完成交互任務的多機器人協(xié)作服務框架。其次,針對輪椅床用戶日常需求,創(chuàng)建了包含13種動作類別的日常行為數(shù)據(jù)集,并基于其訓練行為分類器。最后,面向機器人行為感知及人機交互任務構建了多機器人服務系統(tǒng)交互界面,通過設計相關實驗證明了所提框架的可行性以及行為識別算法的實用性與準確性。
【圖文】：

北京工業(yè)大學工學博士學位論文胸前觸摸屏上顯示信息來提醒老人服藥及測量血壓，同時量人體基本生命體征并記錄健康狀態(tài)。法國 Aldebaran RO 機器人是目前學術研究應用最廣泛的類人機器人。該對高等教育項目公開，并于 2010 年成立基金會支持在機學應用。NAO 包含 25 個自由度、多種高性能傳感器和機Windows 或 Mac OS 等操作系統(tǒng)下編程調(diào)試，并且具備開用戶探索多種任務級的機器人研究，如人機交互[3]、軌跡[4][5]、即時定位與導航系統(tǒng)開發(fā)[6]以及在線行人檢測與跟006 年開始不斷革新，并于 2018 年推出了 NAO6 版本，是內(nèi)部集成了功能更加強大的 CPU 并升級了多種傳感器 所示。

（a）Relay （b）Care-O-bot 3 （c）Care-O-bot 4圖1-2 Relay 和 Care-O-bot 機器人Fig.1-2 Robots Relay and Care-O-bot18 年，日本大阪大學石黑浩教授團隊展示了其開發(fā)的改進版人形rica，該機器人通過遍布于房間多個方位的麥克風和攝像頭獲取對調(diào)信息，經(jīng)服務器整合所有信息之后做出決策，并利用目前世界上語言合成系統(tǒng)，實現(xiàn)與用戶的持續(xù)順暢對話。內(nèi)對于服務機器人的研究始于 20 世紀 70 年代，晚于部分發(fā)達國家家政策的大力扶持、國際交流的日趨頻繁以及科研人員的不懈努力研院所和高精尖企業(yè)在服務機器人領域已經(jīng)取得了豐碩的理論研并設計搭建了眾多令人矚目的高智能化服務機器人研究平臺。北京教授團隊在 2005 年至 2012 年間先后研制了 5 代“匯童”機器人，的運動規(guī)劃和系統(tǒng)集成等關鍵技術進行了探索，，解決了多自由度擬控制難題，提高了機器人運動的自然性和穩(wěn)定性。中國科學技術啟動了“可佳工程”開始自主研究智能服務機器人整機，涉及一
【學位授予單位】：北京工業(yè)大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：TP242

【相似文獻】

相關期刊論文 前10條

1 王德亮;;開發(fā)機器人程序快速修正方法[J];現(xiàn)代焊接;2016年02期

2 明子成;;游覽機器人的設計與實現(xiàn)[J];正德學院學報;2008年02期

3 張鑫龍;原思聰;;碼垛機器人位置精度測試與分析[J];機床與液壓;2017年03期

4 劉興良;;多關節(jié)式機器人電傳動系統(tǒng)設計[J];機械工業(yè)自動化;1987年03期

5 劉美華,常文森;機器人位置/力控制系統(tǒng)的穩(wěn)定性[J];機器人;1988年03期

6 張永昌;;取代潛水員的蜘蛛型機器人[J];航海;1988年06期

7 解廣達;;日本產(chǎn)業(yè)機器人的最新動向[J];儀器儀表與分析監(jiān)測;1988年04期

8 劉美華,常文森;兩種具有動力學補償?shù)臋C器人位置/力混合控制器[J];國防科技大學學報;1989年01期

9 徐彬;溫秀蘭;黃濤;陳一心;錢俊;賀帆;張超;;圖書識別整理機器人的設計與研發(fā)[J];科技創(chuàng)新與應用;2019年10期

10 Eduardo Nebot;;機器人技術——從自動化到智能系統(tǒng)[J];Engineering;2018年04期

相關會議論文 前4條

1 孫志峻;邢仁濤;黃衛(wèi)清;;超聲電機驅(qū)動關節(jié)機器人位置反饋控制研究[A];第十一屆中國小電機技術研討會論文集[C];2006年

2 蔡詩瑤;馬智亮;;自動化與機器人技術在高層建筑主體結(jié)構施工中的應用綜述[A];第四屆全國BIM學術會議論文集[C];2018年

3 袁成杰;;機器人型柔性生產(chǎn)線產(chǎn)品質(zhì)量控制技術研究[A];四川省機械工程學會第三屆學術年會論文集[C];2018年

4 孟金梁;;機器人位置識別系統(tǒng)在涂裝的應用[A];第十五屆河南省汽車工程科技學術研討會論文集[C];2018年

相關重要報紙文章 前1條

1 本報記者 江耘;我機器人足球隊三奪“世界杯” 比真人傳球更準[N];科技日報;2018年

相關博士學位論文 前10條

1 陳永彬;基于語義SLAM的陪護機器人場景感知技術研究[D];廣東工業(yè)大學;2019年

2 張國梁;基于局部時空特征的服務機器人行為感知方法研究[D];北京工業(yè)大學;2019年

3 鄭華棟;面向激光熔覆成形的機器人路徑生成及優(yōu)化研究[D];大連理工大學;2019年

4 羅文興;面向教育機器人的室內(nèi)定位研究[D];華中師范大學;2018年

5 遲明路;花瓣型膠囊機器人游動特性與空間磁矩驅(qū)動策略[D];大連理工大學;2018年

6 程敏;面向服務機器人的室內(nèi)動態(tài)環(huán)境地圖構建的研究[D];中國科學技術大學;2019年

7 江國來;共融移動服務機器人導航與交互關鍵技術研究[D];中國科學院大學(中國科學院深圳先進技術研究院);2019年

8 趙慶營;基于分子通信的多納米機器人局部靶向藥物傳送關鍵技術研究[D];上海大學;2018年

9 羅冰;時變氣流環(huán)境下飛行機器人搜尋氣味源關鍵問題研究[D];天津大學;2017年

10 仲宇;分布式強化學習理論及在多機器人中的應用研究[D];哈爾濱工程大學;2003年

相關碩士學位論文 前10條

1 顧t熻

本文編號：2659606