環(huán)境感知是自主移動機器人研究的關鍵技術。隨著機器人智能化需求的不斷提高,環(huán)境感知也在語義信息上開展了多方面的研究,包括物體識別、環(huán)境屬性解析以及端對端的控制語義等。近年來,深度學習的發(fā)展進一步推動了感知性能的提升,語義感知不論在算法準確度上還是建模方法上都取得了豐碩的研究成果。然而,現(xiàn)有的成果大多基于封閉的實驗條件�？紤]到機器人實際運行場景的開放性和復雜性,環(huán)境感知仍面臨著感知維度提升、分類類別繁多以及先驗數(shù)據(jù)樣本有限等多方面的挑戰(zhàn),阻礙了移動機器人技術的廣泛應用。本文在這一背景下,針對移動機器人環(huán)境識別和語義理解兩方面開展具體研究,取得了以下四個創(chuàng)新性研究成果:（1）針對三維物體檢測運算量大、搜索空間復雜度高的問題,提出了基于RGBD傳感器的多模態(tài)信息融合一階段三維物體檢測模型。該模型通過在二維平面上分層融合RGB圖像和深度圖像中互補的外觀特征和幾何特征來對三維空間進行建模,實現(xiàn)了不同模態(tài)信息的高度融合。繼而在不同感受野的特征層上進行包圍框回歸來解決圖像投影的尺度問題。通過二維備選框搜索、三維匹配的方式,顯著提高了運算效率,在SUNRGBD和NYUv2 RGBD數(shù)據(jù)集上實現(xiàn)了端對端的... 

【文章來源】：浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：130 頁

【學位級別】：博士

【部分圖文】：

圖２．１?２Ｄ－ＳＳＤ網(wǎng)絡結(jié)構(gòu)圖??

Ｗｍ?？?？?？?？?Ｃｍ?，＂．??ｗ—ｔ?ｔ—ｉ?．．?？－Ｈ?ｏ—？?．?．?ｔ—＾?Ｔ－Ｈ?？—＜?．?ｊ?＊－Ｈ?ｔ—？?，?．?？—＜?？—？?ｔ－Ｈ??Ｉ?？□＇?ｌＩＳｌ?？?ｉＱｌｌｌＱＩＩＩ?〇??＊－？?？－ｈ?ｒａ?？—＜?？－ｈ?ｒａ?ｒ—ｉ?ｔ－ｈ?ｒａ?？—？?ｉ－ｈ?ｒａ?？？—？?？－＜?（ａ??｜Ｊ［ＪＪ?［１Ｊ［｜ＪＬ｜Ｊ?ＬｉＪｉｌＪｉｉＪ?Ｌ＾ｉｌｊｉＵＨｕＵＬ??圖２．２?ＶＧＧ１６網(wǎng)絡結(jié)構(gòu)圖??２．２．２多尺度分層回歸??二維圖像感知由于小孔成像原理而缺少物體的真實尺度信息。當相機距離物體較近時，??物體在圖像平面的成像面積較大，反之則較校因而基于圖像平面的物體檢測，需要學習??和提取同一物體不同視覺大小下的特征，并給出一致的預測結(jié)果。在ＳＳＤ中，考慮到了每??一層的特征來自于相同序列的卷積運算，因而感受野（ｒｅｃｅｐｔｉｖｅ?ｆｉｅｌｄ）是相同的，即對應著??原始圖像上相同大小的區(qū)域，而不同的特征層則對應著不同大小的圖像區(qū)域。因而可以通??過在多個特征層上的遍歷預測和回歸，來同時實現(xiàn)一階段和多尺度的物體檢測。??多尺度分層回歸的具體結(jié)構(gòu)如圖２．３所示。ＳＳＤ將３ｘ３卷積核作用在６個預測回歸層??上，每一層的每個位置所對應的原始圖片大小都可能為一個目標物體。然后在每個位置上??設置６個先驗的物體備選框大小，對于特征層為ｍｘｒｉ的大小，則有ｍｘｎｘ６個備選框??用于檢測每一個目標類別。最后將每層得到的結(jié)果在重疊區(qū)域通過非極大值抑制來得到最??終檢測結(jié)果。??３０＾３００，３?Ｍ？３８？６１２?＾１

Ｗｍ?？?？?？?？?Ｃｍ?，＂．??ｗ—ｔ?ｔ—ｉ?．．?？－Ｈ?ｏ—？?．?．?ｔ—＾?Ｔ－Ｈ?？—＜?．?ｊ?＊－Ｈ?ｔ—？?，?．?？—＜?？—？?ｔ－Ｈ??Ｉ?？□＇?ｌＩＳｌ?？?ｉＱｌｌｌＱＩＩＩ?〇??＊－？?？－ｈ?ｒａ?？—＜?？－ｈ?ｒａ?ｒ—ｉ?ｔ－ｈ?ｒａ?？—？?ｉ－ｈ?ｒａ?？？—？?？－＜?（ａ??｜Ｊ［ＪＪ?［１Ｊ［｜ＪＬ｜Ｊ?ＬｉＪｉｌＪｉｉＪ?Ｌ＾ｉｌｊｉＵＨｕＵＬ??圖２．２?ＶＧＧ１６網(wǎng)絡結(jié)構(gòu)圖??２．２．２多尺度分層回歸??二維圖像感知由于小孔成像原理而缺少物體的真實尺度信息。當相機距離物體較近時，??物體在圖像平面的成像面積較大，反之則較校因而基于圖像平面的物體檢測，需要學習??和提取同一物體不同視覺大小下的特征，并給出一致的預測結(jié)果。在ＳＳＤ中，考慮到了每??一層的特征來自于相同序列的卷積運算，因而感受野（ｒｅｃｅｐｔｉｖｅ?ｆｉｅｌｄ）是相同的，即對應著??原始圖像上相同大小的區(qū)域，而不同的特征層則對應著不同大小的圖像區(qū)域。因而可以通??過在多個特征層上的遍歷預測和回歸，來同時實現(xiàn)一階段和多尺度的物體檢測。??多尺度分層回歸的具體結(jié)構(gòu)如圖２．３所示。ＳＳＤ將３ｘ３卷積核作用在６個預測回歸層??上，每一層的每個位置所對應的原始圖片大小都可能為一個目標物體。然后在每個位置上??設置６個先驗的物體備選框大小，對于特征層為ｍｘｒｉ的大小，則有ｍｘｎｘ６個備選框??用于檢測每一個目標類別。最后將每層得到的結(jié)果在重疊區(qū)域通過非極大值抑制來得到最??終檢測結(jié)果。??３０＾３００，３?Ｍ？３８？６１２?＾１


本文編號：3264087