長期以來,國家對教育事業(yè)的發(fā)展都十分重視,新課程改革也越來越注重對學生自主創(chuàng)新能力和動手能力的培養(yǎng)。在國內中學實驗教學中,學生動手實驗經(jīng)常受到區(qū)域性教育資源分布不均衡,一些危險實驗、觀察效果不明顯的實驗和材料昂貴的實驗難以展開,和教師教學理念差異的影響。因此,在實際的實驗教學中常采用講授與視頻教學相結合回合教學方式或使用虛擬仿真實驗教學的方式展開。該方式,首先無法保證學生對實驗過程的重點、實驗的機理和現(xiàn)象的深入了解;其次缺乏體驗感和沉浸感,學生很難通過探索實驗體驗到其中的樂趣,同時,由于缺乏實際操作感,也不利于學生動手能力的培養(yǎng)。2018年,國家重點研發(fā)計劃項目——“多模態(tài)自然交互的虛實融合開放式實驗教學環(huán)境”立項成功,該項目的主要研究問題是面向中學主干課程實驗教學的多種交互模型的融合共存、多模態(tài)交互意圖的精確理解等科學問題,旨在推動中學智能實驗教學的發(fā)展,提供復雜實驗教學環(huán)境中虛實融合的實時仿真、多通道感知（視、聽、觸、嗅）同步呈現(xiàn)等教學實驗效果。并且,預期實現(xiàn)我國優(yōu)質教學資源遠程教育的共建共享,同時通過虛實融合的更具沉浸感的實驗來更好地闡釋和展現(xiàn)科學原理,并突破原有的實驗教學模式,... 

【文章來源】：濟南大學山東省

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【部分圖文】：

融合RGB和深度圖像的手勢識別方法

濟南大學碩士學位論文19連接層（fc6，fc7）的大小為1×1×2048，這意味著有2048個神經(jīng)元鏈接到前一層。對于第二個通道，因為RGB圖像比深度圖像更復雜，包含的信息也更多，因此連接層fc6、fc7選擇4096個神經(jīng)元進行連接。特征映射層用于替換原始的最后一個完整連接-層（fc8）網(wǎng)絡。每個通道的fc7層的輸出被映射到這個層，形成一個特征向量由6144個神經(jīng)元組成。然后，當特征向量被發(fā)送到軟max層。在整個模型訓練方法中采用梯度下降（SGD）方法加快訓練速度，減少過擬合。2.2.2對比實驗為驗證該模型的有效性，我們選擇了實驗過程中經(jīng)常出現(xiàn)的六種手勢，進行手勢分類，并且招募了120名實驗者，每名實驗者的同一種手勢的RGB圖像和深度圖像分別采集3600張，其中3000張用于訓練，600張用于測試。六種手勢如圖3.2所示。圖2.6六種靜態(tài)手勢樣本（左側RGB圖像，右側深度圖像）實驗一單通道和雙通道之間的手勢識別比較對于上述采集的6手勢樣本，分別訓練Caffe-Net網(wǎng)絡模型和雙通道混合的網(wǎng)絡模型，下表展示了手勢識別模型的準確率。表2.1單雙通道手勢識別率對比ModelstructuralTrainlossvalueAccuracyvalue(%)Channel10.002932996.55Channel20.003112296.61Dualchannel0.001263598.11實驗二雙通道手勢識別與其它識別方法的比較為了更好地體現(xiàn)該方法的有效性，選擇現(xiàn)階段較流行的網(wǎng)絡結構和傳統(tǒng)的手勢識別模型，并對本文提供的數(shù)據(jù)集進行實驗，對比結果如下。

濟南大學碩士學位論文27的銜接，使得智能顯微鏡具有理解用戶意圖的能力；另一方面，對用戶的部分意圖進行推理，并根據(jù)推理結果和操作效果對不合理的用戶操作進行引導，對必要的實驗步驟進行提示，可以起到更加智能化交互效果。交互應用層中，主要通過視覺顯示和聽覺指引呈現(xiàn)效果，其中視覺呈現(xiàn)即通過手機顯示屏觀察顯微鏡下的樣本圖像。在之后會給出顯微鏡操作案例說明。不失一般性，我們認為該多模態(tài)交互框架可以用到很多交互場景中。3.2.1雙通道信息整合根據(jù)實際的操作經(jīng)驗，可以排除同時調節(jié)粗、細準焦螺旋，移動樣本和觀察樣本的操作的組合操作，設多通道整合函數(shù)為Muf)(，未調節(jié)前的圖像為P，移動變換函數(shù)為PM)(，轉動變換函數(shù)為PV)(，因此，多通道整合函數(shù)可以表示為：+=PPVPPMPMuf)()1()()((3.1)其中，=)1,0(為選擇參數(shù)，該值可由傳感元件改變，當完成一次調節(jié)后，)("=PMufP，且P"作為當前觀察圖像可繼續(xù)被調節(jié)。3.2.2多通道信息整合策略在整個交互系統(tǒng)中，需要整合三個通道的信息，來完成智能化的人機交互工作，整個管理過程中，提出一種基于多通道的狀態(tài)遷移策略（MCST），把不同通道的信息作為輸入，系統(tǒng)的調節(jié)和反饋過程作為狀態(tài)，不同的觸發(fā)條件會引發(fā)不同狀態(tài)間的遷移變化，借此來整合信息并做出合理反饋，MCST的策略如下：圖3.2MCST策略

【參考文獻】：
期刊論文
[1]利用微課和數(shù)字顯微鏡彌補傳統(tǒng)高中生物實驗教學的不足——以“觀察根尖分生組織細胞的有絲分裂”實驗為例[J]. 唐慧.  中小學實驗與裝備. 2019(01)
[2]多通道人機交互信息融合的智能方法[J]. 楊明浩,陶建華.  中國科學:信息科學. 2018(04)
[3]雙通道卷積神經(jīng)網(wǎng)絡在靜態(tài)手勢識別中的應用[J]. 馮家文,張立民,鄧向陽.  計算機工程與應用. 2018(14)
[4]虛擬現(xiàn)實在教育中的應用:優(yōu)勢與挑戰(zhàn)[J]. 丁楠,汪亞珉.  現(xiàn)代教育技術. 2017(02)
[5]虛擬環(huán)境的用戶意圖捕獲[J]. 程成,趙東坡,盧保安.  中國圖象圖形學報. 2015(02)
[6]面向自然交互的多通道人機對話系統(tǒng)[J]. 楊明浩,陶建華,李昊,巢林林.  計算機科學. 2014(10)
[7]融合觸、聽、視覺的多通道認知和交互模型[J]. 路璐,田豐,戴國忠,王宏安.  計算機輔助設計與圖形學學報. 2014(04)
[8]ChemLab在基礎化學實驗的應用[J]. 祁正興.  科技信息(科學教研). 2008(05)
[9]模擬化學實驗軟件——Model Chemlab[J]. 王紅斌,楊敏,葉艷青.  計算機與應用化學. 2001(01)

博士論文
[1]智能語音交互中的用戶意圖理解與反饋生成研究[D]. 寧義雙.清華大學 2017

碩士論文
[1]基于NOBOOK的高中化學虛擬實驗教學設計與實踐[D]. 陳曉甜.河南大學 2019
[2]基于Unity3D的測控類虛擬仿真實驗技術研究[D]. 闞研.華中科技大學 2019
[3]基于Unity3D的初中物理虛擬實驗平臺的設計與應用研究[D]. 趙顯敏.四川師范大學 2019
[4]虛擬仿真軟件在中學物理習題教學中應用的研究[D]. 王濤.南京師范大學 2018
[5]基于虛擬實驗的高中生化學建模能力研究[D]. 吳雅青.上海師范大學 2018
[6]虛擬實驗在初中生物教學中的實踐與應用[D]. 王曉婉.河南大學 2017
[7]基于云平臺的網(wǎng)絡虛擬實驗課程系統(tǒng)[D]. 李義成.電子科技大學 2017
[8]初中化學探究教學實施的問題與對策研究[D]. 李娟.西南大學 2015
[9]基于LabVIEW的中學化學仿真實驗系統(tǒng)的研究[D]. 王小娟.陜西師范大學 2014
[10]虛擬實驗在中學化學實驗教學中的應用研究[D]. 趙紅喜.河南大學 2013



本文編號：3424412