基于決策森林的回歸模型方法研究及應(yīng)用
發(fā)布時(shí)間:2021-03-19 15:49
回歸模型是一種通過樣本學(xué)習(xí)數(shù)據(jù)之間的復(fù)雜關(guān)系,并利用學(xué)習(xí)到的關(guān)聯(lián)關(guān)系進(jìn)行預(yù)測(cè)的數(shù)學(xué)模型,已被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域中的圖像分類、目標(biāo)檢測(cè)等方向。然而,為了實(shí)現(xiàn)越來越好的檢測(cè)或分類效果,回歸模型的復(fù)雜度不斷增加,帶來了計(jì)算量的急劇增加以及對(duì)訓(xùn)練樣本更加苛刻的需求。一方面,為了提升效果,大量的特征被引入學(xué)習(xí)模型,各個(gè)特征在學(xué)習(xí)模型中的作用卻不得而知。過多的輸入特征不僅使得運(yùn)行效率降低而且增加了過擬合的風(fēng)險(xiǎn),同時(shí)少數(shù)有效特征的作用也會(huì)被掩蓋在許多無用特征之下。另一方面,基于深度神經(jīng)網(wǎng)絡(luò)的回歸模型的學(xué)習(xí)過程嚴(yán)重依賴于參數(shù)調(diào)節(jié),導(dǎo)致其在數(shù)據(jù)樣本不均衡、有效樣本較少等情況下難以應(yīng)用。從這兩方面出發(fā),本文首先從計(jì)算機(jī)的角度模擬視覺注意機(jī)制,通過不同的特征選擇方法分析不同的特征和特征組合對(duì)視覺注意的影響。然后,針對(duì)小樣本圖像數(shù)據(jù)集問題,從提高特征表達(dá)學(xué)習(xí)能力、減小計(jì)算量、降低調(diào)參的依賴度入手,借鑒了決策樹的構(gòu)造思想,研究了基于決策森林的級(jí)聯(lián)回歸模型,并構(gòu)建了目標(biāo)檢測(cè)系統(tǒng)。主要的研究?jī)?nèi)容包括:1.針對(duì)視覺顯著性預(yù)測(cè)問題,基于特征選擇方法分析了各個(gè)特征對(duì)顯著性預(yù)測(cè)的作用;跇(gòu)建的一組候選特征集進(jìn)行的實(shí)...
【文章來源】:浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:170 頁
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖1.1視覺通路示意圖??在人類視覺系統(tǒng)中,眼睛是接收視覺信息的入口,大腦對(duì)信息進(jìn)行編碼、??
經(jīng)過上述分析可以明確決策樹的預(yù)測(cè)過程,即由上到下、逐級(jí)劃分的過程,??各級(jí)的非葉子節(jié)點(diǎn)根據(jù)其特征屬性對(duì)數(shù)據(jù)集進(jìn)行劃分并得到最終的分類結(jié)果。??假設(shè)r與Z)分別代表特征集與訓(xùn)練數(shù)據(jù)集,具體步驟如下:??步驟1:選擇一個(gè)劃分訓(xùn)練數(shù)據(jù)集最好的特征?,并將其從特征集r中移除;??步驟2:構(gòu)建樹節(jié)點(diǎn)并將其屬性設(shè)置為特征【,此時(shí)可以劃分多個(gè)子數(shù)據(jù)集,??并將其應(yīng)用于之后的迭代過程。當(dāng)子數(shù)據(jù)集達(dá)到葉子節(jié)點(diǎn)時(shí)決策樹不再生長(zhǎng),??結(jié)束數(shù)據(jù)集的劃分過程。停止生長(zhǎng)的情況主要有如下兒種:??①數(shù)據(jù)集r內(nèi)沒有特征元素;??②子數(shù)據(jù)集數(shù)目較低;??③子數(shù)據(jù)集繼續(xù)劃分得到的信息熵增益量很小。??
下面將從隨機(jī)森林的理論基礎(chǔ)、隨機(jī)森林模型投票過程、隨機(jī)森林的優(yōu)缺??點(diǎn)對(duì)隨機(jī)森林進(jìn)行分析。??(1)隨機(jī)森林理論基礎(chǔ)??從1.2.2.小節(jié)中可知,決策森林雖然構(gòu)建簡(jiǎn)單,但存在一定的不足:??①在建立單裸決策樹模型時(shí),訓(xùn)練數(shù)據(jù)集可能會(huì)引起過擬合現(xiàn)象,解決這個(gè)??問題需要進(jìn)行特殊處理,即進(jìn)行一定的剪枝操作,但是剪枝不夠合理也會(huì)降低??決策樹的預(yù)測(cè)效果。??②特征屬性選擇過程中利用局部貪婪法,采用從特征集合內(nèi)選取最佳的特??征進(jìn)行節(jié)點(diǎn)構(gòu)建,該方式可能會(huì)出現(xiàn)局部最優(yōu)解。??針對(duì)以上問題,在決策森林算法的基礎(chǔ)上,隨機(jī)森林應(yīng)運(yùn)而生。??
本文編號(hào):3089822
【文章來源】:浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:170 頁
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖1.1視覺通路示意圖??在人類視覺系統(tǒng)中,眼睛是接收視覺信息的入口,大腦對(duì)信息進(jìn)行編碼、??
經(jīng)過上述分析可以明確決策樹的預(yù)測(cè)過程,即由上到下、逐級(jí)劃分的過程,??各級(jí)的非葉子節(jié)點(diǎn)根據(jù)其特征屬性對(duì)數(shù)據(jù)集進(jìn)行劃分并得到最終的分類結(jié)果。??假設(shè)r與Z)分別代表特征集與訓(xùn)練數(shù)據(jù)集,具體步驟如下:??步驟1:選擇一個(gè)劃分訓(xùn)練數(shù)據(jù)集最好的特征?,并將其從特征集r中移除;??步驟2:構(gòu)建樹節(jié)點(diǎn)并將其屬性設(shè)置為特征【,此時(shí)可以劃分多個(gè)子數(shù)據(jù)集,??并將其應(yīng)用于之后的迭代過程。當(dāng)子數(shù)據(jù)集達(dá)到葉子節(jié)點(diǎn)時(shí)決策樹不再生長(zhǎng),??結(jié)束數(shù)據(jù)集的劃分過程。停止生長(zhǎng)的情況主要有如下兒種:??①數(shù)據(jù)集r內(nèi)沒有特征元素;??②子數(shù)據(jù)集數(shù)目較低;??③子數(shù)據(jù)集繼續(xù)劃分得到的信息熵增益量很小。??
下面將從隨機(jī)森林的理論基礎(chǔ)、隨機(jī)森林模型投票過程、隨機(jī)森林的優(yōu)缺??點(diǎn)對(duì)隨機(jī)森林進(jìn)行分析。??(1)隨機(jī)森林理論基礎(chǔ)??從1.2.2.小節(jié)中可知,決策森林雖然構(gòu)建簡(jiǎn)單,但存在一定的不足:??①在建立單裸決策樹模型時(shí),訓(xùn)練數(shù)據(jù)集可能會(huì)引起過擬合現(xiàn)象,解決這個(gè)??問題需要進(jìn)行特殊處理,即進(jìn)行一定的剪枝操作,但是剪枝不夠合理也會(huì)降低??決策樹的預(yù)測(cè)效果。??②特征屬性選擇過程中利用局部貪婪法,采用從特征集合內(nèi)選取最佳的特??征進(jìn)行節(jié)點(diǎn)構(gòu)建,該方式可能會(huì)出現(xiàn)局部最優(yōu)解。??針對(duì)以上問題,在決策森林算法的基礎(chǔ)上,隨機(jī)森林應(yīng)運(yùn)而生。??
本文編號(hào):3089822
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3089822.html
最近更新
教材專著