【摘要】：近年來,多核學習(Multiple Kernel Learning,MKL)在機器學習領域受到廣泛關注,是一種很有前景的數(shù)據(jù)挖掘方法。它主要利用多個核函數(shù)的線性組合去解決數(shù)據(jù)異構或不規(guī)則、樣本不平坦分布等具有挑戰(zhàn)性的問題。傳統(tǒng)多核學習方法通常把求解多個核函數(shù)的線性組合看作優(yōu)化問題,再重點研究優(yōu)化算法,以達到更好的效率及精度,但計算量大、不容易收斂仍然是傳統(tǒng)多核學習方法的主要缺點。Hao Xia與Steven Hoi創(chuàng)造性地提出了多核集成學習框架(Multiple Kernel Boosting,MKBoost),將AdaBoost的思想運用到多核學習中,巧妙地避開了復雜的優(yōu)化問題,從而大大提高了算法效率,但由于AdaBoost算法對噪聲數(shù)據(jù)敏感,所以MKBoost算法不能有效地處理被噪聲污染的數(shù)據(jù)集,魯棒性較差。為了克服MKBoost算法在含有噪聲的數(shù)據(jù)集中出現(xiàn)過擬合的難題,本文提出了兩種新的多核集成學習算法,即基于噪聲探測函數(shù)(noise-based MKBoost,NDMKB)與基于噪聲概率(noise-probability MKBoost,NP-MKB)的多核學習方法,新算法主要有兩方面具體內容:第一:噪聲的識別。首先根據(jù)樣本鄰域信息,使用k最近鄰法進行噪聲初步探測,越多鄰域樣本被錯誤分類,該樣本是噪聲的概率越大,反之該樣本是正常樣本的概率越大。ND-MKB算法將k最近鄰法的探測結果二值化處理,即{-1,+1},NP-MKB算法利用logistic回歸模型函數(shù)將初步探測結果映射到[0,1]區(qū)間,得到樣本是噪聲的概率。第二:新的多核集成學習方法的提出。AdaBoost算法中,無論是其損失函數(shù)還是樣本權值的更新,均只關注分類正確與否,要提高AdaBoost的抗噪性,就有必要區(qū)別對待噪聲樣本與正常樣本。本文分別基于噪聲探測函數(shù)與噪聲概率函數(shù)提出了兩種新的損失函數(shù),并利用前向分布算法進行算法推導。ND-MKB與NPMKB算法都充分考慮了樣本的噪聲性質對算法的影響,所以抗噪性和魯棒性比傳統(tǒng)多核集成學習算法更好。
【圖文】：

算法 3 k 最近鄰算法練數(shù)據(jù)集 ( ) ( ) ( ) ，新實例 x的距離度量，在訓練集 中找出與新實例 x 最近鄰的 k的鄰域記為 ( )； ( )中根據(jù)分類決策規(guī)則（如多數(shù)表決）判定新實例 x | ∑ ( ) ( ) N T：新實例 x 的類別 y法起源于最近鄰法，其定義為：為了判定未知樣本類別點，計算位置樣本與所有訓練樣本的距離，并以最近鄰類別的唯一依據(jù)。如圖（3-1），圓圈與右下方的三角與紅色三角形類別相同。但是，最近鄰法是存在明顯缺感。為了解決這個問題，我們可以把未知樣本周邊的多大參與決策的樣本量，以避免個別數(shù)據(jù)直接決定決策結

圖 3-2 logistic 回歸函數(shù)圖像本文引入噪聲概率函數(shù)，利用 logistic 回歸模型函數(shù)將噪聲探測結果映射[0,1]區(qū)間，如式（3-19），而不是像 ND-MKB 算法中二值化處理，映射到{-1,+1這樣處理的好處在于彌補了因噪聲探測手段的局限性帶來的不穩(wěn)定性，，容錯率高，更符合實際情況。 ( ) ¤[ ( ) ](3其中 ( )表示樣本( )是噪聲的概率， 與 的定義與式（3-6）相同， 是工設置參數(shù)，因為( )的值域是(-1,1)的子集，其對應的 logistic 回歸函的值域區(qū)間過窄，所以， 的作用是擴大( )的范圍，使得噪聲概率函數(shù) 能更有效地區(qū)分噪聲樣本與正常樣本。3.4.2 NP-MKB 算法的損失函數(shù)鑒于 ND-MKB 算法的不足，本節(jié)中基于噪聲概率函數(shù) ( )提出了新的損失數(shù)形式，如式（3-20）。
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP181

【參考文獻】

相關期刊論文 前3條

1 陶劍文;王士同;;多核局部領域適應學習[J];軟件學報;2012年09期

2 汪洪橋;孫富春;蔡艷寧;陳寧;丁林閣;;多核學習方法[J];自動化學報;2010年08期

3 張國英,沙蕓,劉玉樹;模式識別中基于Boosting的特征篩選[J];北京理工大學學報;2004年07期

本文編號：2547416