發(fā)布時間：2021-03-20 18:20

　　集成學(xué)習(xí)是一類著名的機(jī)器學(xué)習(xí)方法,通過構(gòu)建并結(jié)合多個學(xué)習(xí)器來完成學(xué)習(xí)任務(wù),�？色@得比單一學(xué)習(xí)器顯著優(yōu)越的泛化性能,在諸多實(shí)際應(yīng)用中取得了成功。學(xué)習(xí)器之間的多樣性是構(gòu)建集成學(xué)習(xí)模型的一個關(guān)鍵因素。如何理解和度量多樣性是集成學(xué)習(xí)中非常基礎(chǔ)但尚未解決的問題。本文對集成學(xué)習(xí)中多樣性進(jìn)行了研究,主要取得了以下創(chuàng)新成果:1)提出了結(jié)構(gòu)多樣性概念,為集成學(xué)習(xí)多樣性研究提供了一個新方向。以往的多樣性度量僅考慮分類器預(yù)測行為的差異,而忽視了分類器本身結(jié)構(gòu)之間的差異。本文針對決策樹提出了一種結(jié)構(gòu)多樣性度量,并通過實(shí)驗驗證了其效用。2)提出了一種嵌入結(jié)構(gòu)多樣性的新型選擇性集成學(xué)習(xí)算法DRSE（Di-versity Regularized Selective Ensemble）。該算法的基本思想是同時考慮集成誤差、行為多樣性和結(jié)構(gòu)多樣性,使用DCA算法求解。實(shí)驗結(jié)果表明,該算法的性能顯著優(yōu)于現(xiàn)有選擇性集成算法。3)提出了一種基于聯(lián)結(jié)樹的多元信息多樣性（multi-information diversity）估計方法。多元信息多樣性基于信息論來刻畫集成多樣性,其面臨的困難是高階信息通常難以估計。本文方法通過聯(lián)結(jié)... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１：判斷西瓜是好瓜還是壞瓜問題的一棵決策樹

Ｅ５６ｌ?？）??①，ＣＳ＞?Ｉ?ｂｎ＜５?］?Ｃｍ）?念）??Ｐａｉｒｗｉｓｅ?ＴＭＤ?、、ＣＨ）?（＾）?Ｃｍ）??ＺａＲＴＫＭＫ：［］網(wǎng)??丄丄丄丄?Ｉ??ｒ：?１?０?３?４?１０?［ｃｓ＾＼?Ｉ?ＣＴ＜４?１?＾?Ｉｎｓｅｒｔｉｏｎ???，＾＜７￣、?／ｖ????Ｄｅｌｅｔｉｏｎ??７＾?４?３?０?Ｉ?９???Ｒｅｌａｂｅｌ???（Ｔ）?ＣＭ）?ＢＮ＜５?（ｍ）??Ａ?土丄丄丄丄??ｒ，－?９?ｌｏ?９?９＿＿〇＿?Ｃｂ）?？＞??圖２．２：五棵決策樹。箭頭指示了匹配兩棵決策樹所需要的操作，圖中同時列出了成對樹匹??配多樣性度量值。??入一個結(jié)點(diǎn)、刪除一個結(jié)點(diǎn)和替換一個結(jié)點(diǎn)的分枝屬性。需要的操作數(shù)最多是??兩棵決策樹內(nèi)部結(jié)點(diǎn)個數(shù)之和。這種定義和樹編輯距離聯(lián)系密切，可以通過動??態(tài)規(guī)劃或者更高效的分解方法計算｜￣。這個度量值越大，說明兩棵樹的結(jié)構(gòu)差??異越大。集成的樹匹配多樣性度量定義為集成中所有成對樹匹配多樣性度景的??均值，并用集成中最大的成對樹匹配多樣性度量值ｉｊ丨一化。??平個例廣，闖２．２展�。叩某！曦校担咭浴叮罚ǎ保埽罚浚迹海叮贰模窂模撸ǎd７＞７數(shù)掘集上訓(xùn)練??得到的５棵決策樹。數(shù)１Ｗ？乜含９個厲性，依次是Ｃｌｕｍｐ?Ｔｈｉｃｋｎｅｓｓ?（ＣＴ）、Ｃｅｌ丨??Ｓｉｚｅ?Ｕｎｉｆｏｒｍｉｔｙ?（ＣＳＩ）、Ｃｅｌｌ?Ｓｈａｐｅ?Ｕｎｉｆｏｒｍｉｔｙ?（ＣＳＨ）、Ｍａｒｇｉｎａｌ?Ａｄｈｅｓｉｏｎ?（ＭＡ）、??Ｓｉｎｇｌｅ?Ｅｐｉｔｈｅｌｉａｌ?Ｃｅｌｌ?Ｓｉｚｅ?（ＳＥ）、Ｂａｒｅ?Ｎｕｃｌｅｉ?（ＢＮ）、Ｂｌａｎｄ?Ｃｈｒｏｍａｔｉｎ?（ＢＣ）、Ｎｏｒ

１４?第二章結(jié)構(gòu)多樣性??考慮在第一章中提到的預(yù)測是否ｙ?２?Ｘ的任務(wù)。圖２．３畫出了三棵決策樹，??樹１和樹２的決策區(qū)域分別與圖１．１中的決策區(qū)域一致。假設(shè)我們己經(jīng)有兩棵決??策樹，樹１和樹３，我們希望從樹１和樹３中再選擇一棵添加到樹１和樹２中??進(jìn)行集成。沒有一個已有的行為多樣性度量可以區(qū)分樹１和樹２，因為它們在??樣本上的預(yù)測結(jié)果完全一致；相比之下，樹匹配多樣性度量會傾向于選擇一個??具有不同結(jié)構(gòu)的樹２而不是另一個樹１。假設(shè)Ｘ和７均勻地分布在［０，１０］，添??加樹１得到的集成誤差的期望值為０．１７，而添加樹２得到的集成誤差的期望值??為０．１３。在實(shí)際應(yīng)用中，分類器的預(yù)測行為可能會差別很大，因此需要同時考??慮結(jié)構(gòu)多樣性和行為多樣性以得到一個性能好的集成。??Ｔ］?｜２?３??Ｉ?Ｘ＜３?１?Ｉ?Ｘ＜３?｜?［?Ｘ＜５?１??ｙ／＼ｎ??ＣＤ?Ｉ?Ｙ＜Ｊ?１?？?Ｉ?Ｙ＜３?１?ＣＤ?？??ＣＤ?？?ＣＥ＞?１?ｘ＜７）??⑦?Ｉ?Ｙ＜７?１??ＣＤ？??圖２．３：三棵預(yù)測是否：Ｆ之Ｘ?（Ｘ，７?ｅ?［０，１０］）的決策樹。給定樹１、樹３和圖１．１中的８個樣??本，樹匹配多樣性度量（基于結(jié)構(gòu)多樣性）建議添加樹２而非另一個樹１進(jìn)行集成，然而??已有的多樣性度量（基于行為多樣性）無法區(qū)分樹１和樹２。??２．４實(shí)驗測試??２．４．１集成中分類器基于結(jié)構(gòu)多樣性排序??得到的集成中分類器按照適當(dāng)?shù)捻樞蚺帕泻�，集成誤差通常會在中等集成??大小取得最低值［２７］。那么，如果集成誤差通過適當(dāng)?shù)呐判蚰軌蚪档停判驑?biāo)準(zhǔn)??對于降低集成誤差也應(yīng)當(dāng)是有益的。??圖２．４繪出了兩個二分類數(shù)據(jù)集和以及兩個多分類數(shù)據(jù)


本文編號：3091451