發(fā)布時間：2018-02-01 10:21

  本文關(guān)鍵詞： 統(tǒng)計學(xué)習(xí)理論 支持向量機(jī) 模糊隸屬度函數(shù) 類內(nèi)結(jié)構(gòu) 類內(nèi)離散度 孤立點(diǎn)檢測 不平衡數(shù)據(jù)學(xué)習(xí)　出處：《北京交通大學(xué)》2015年博士論文　論文類型：學(xué)位論文

【摘要】：支持向量機(jī)是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小化原則的基礎(chǔ)上的一種機(jī)器學(xué)習(xí)方法。它根據(jù)有限的數(shù)據(jù)信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷,以獲得最好的泛化能力。支持向量機(jī)具有堅實的數(shù)學(xué)理論基礎(chǔ),能夠較好地解決有限樣本、非線性、過學(xué)習(xí)、高維數(shù)和局部極小點(diǎn)等學(xué)習(xí)問題。由于其優(yōu)越的性能,已被廣泛應(yīng)用于許多領(lǐng)域中,并已成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一。 本文對支持向量機(jī)理論進(jìn)行了深入地研究,指出其在尋找最優(yōu)分類超平面的過程中忽略了一種重要的先驗知識,即樣本的類內(nèi)結(jié)構(gòu)。為此,本文研究了類內(nèi)結(jié)構(gòu)支持向量機(jī)算法,即基于樣本的類內(nèi)離散度提出的改進(jìn)支持向量機(jī)算法,隨后分別對目前存在的噪聲問題、孤立點(diǎn)檢測問題、不平衡數(shù)據(jù)學(xué)習(xí)問題做了進(jìn)一步的研究。主要工作如下： (1)指出現(xiàn)有的支持向量機(jī)算法模型中存在的問題,即忽略了樣本的類內(nèi)結(jié)構(gòu)。分析了支持向量機(jī)與Fisher判別分析算法的相似點(diǎn)與不同點(diǎn),提出基于類內(nèi)離散度的支持向量機(jī)(WCS-SVM)算法。該算法的基本思想就是尋找一個最優(yōu)分類超平面,不僅將兩類樣本盡量正確分開,在保持較高分類精度的同時最大化分類間隔,而且使得樣本的類內(nèi)離散度盡可能的小。數(shù)值實驗證明了此算法具有良好的分類性能。最后,將無監(jiān)督聚類技術(shù)同WCS-SVM算法結(jié)合起來用于網(wǎng)絡(luò)入侵檢測中,進(jìn)一步驗證了算法的有效性。 (2)在模糊支持向量機(jī)中,為了更好地刻畫訓(xùn)練樣本對分類超平面的貢獻(xiàn),提出一種新的基于樣本緊密度的模糊隸屬度函數(shù)設(shè)計方法。該隸屬度函數(shù)不僅考慮了樣本與所在類中心之間距離,同時還考慮了類內(nèi)樣本之間的緊密度。重點(diǎn)在于我們引入兩個參數(shù)來分別控制正負(fù)兩類樣本的緊密度,這兩個參數(shù)需要預(yù)先設(shè)定。文中,我們通過支持向量數(shù)據(jù)描述算法來確定這兩個參數(shù)。數(shù)值實驗證明了該隸屬函數(shù)可以更好地降低噪聲或野值點(diǎn)對分類結(jié)果的影響。為了更好地處理被噪聲污染的數(shù)據(jù)集分類問題,對于每個訓(xùn)練樣本賦予不同的模糊隸屬度的同時,考慮了樣本的類內(nèi)結(jié)構(gòu),提出新的基于樣本類內(nèi)結(jié)構(gòu)的模糊支持向量機(jī)(WCS-FSVM)算法。文中詳細(xì)地給出了算法的推導(dǎo)過程的同時,嚴(yán)格證明了該算法的收斂性。數(shù)值實驗驗證了該改進(jìn)算法的有效性,降低了噪聲的影響,提高了分類精度。 (3)孤立點(diǎn)檢測是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一。它的任務(wù)就是從已有觀測數(shù)據(jù)中建立正常行為數(shù)據(jù)的模型進(jìn)行異常行為的檢測。我們充分利用樣本信息,對一類支持向量機(jī)算法進(jìn)行了改進(jìn),并將其應(yīng)用于孤立點(diǎn)檢測中。實驗中,我們采用總正確檢測率與Kappa系數(shù)k作為性能評價標(biāo)準(zhǔn),與其它一類標(biāo)準(zhǔn)算法GDD、 NNDD、 PCA、 OC-SVM進(jìn)行比較。結(jié)果證明該改進(jìn)算法是有效的,優(yōu)于其他比較算法,在一定程度上提高了檢測率。 (4)不平衡數(shù)據(jù)廣泛存在于實際應(yīng)用中,不平衡數(shù)據(jù)學(xué)習(xí)也是目前機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中的研究熱點(diǎn)之一。對于支持向量機(jī)來說,正負(fù)訓(xùn)練樣本不平衡會引起分類超平面向少數(shù)類偏移。為了有效抑制分類超平面的偏移,本文提出了基于類內(nèi)結(jié)構(gòu)的不同誤分代價支持向量機(jī)算法。該算法不僅對少數(shù)類和多數(shù)類分別采用不同的誤分代價(對少數(shù)類賦予更大的懲罰因子),而且同樣考慮了樣本的類內(nèi)結(jié)構(gòu),較好地減少了樣本數(shù)目不平衡對分類性能所產(chǎn)生的影響。實驗中,我們采用G-means作為性能評價標(biāo)準(zhǔn)。實驗結(jié)果證明了該算法的有效性,既可以提高少數(shù)類樣本點(diǎn)的分類準(zhǔn)確率,也可以提高正負(fù)類樣本點(diǎn)分類準(zhǔn)確率的幾何平均值。
[Abstract]:......
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP18

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董春曦,楊紹全,饒鮮,湯建龍;支持向量機(jī)推廣能力估計方法比較[J];電路與系統(tǒng)學(xué)報;2004年04期

2 張莉,周偉達(dá),焦李成;尺度核函數(shù)支撐矢量機(jī)[J];電子學(xué)報;2002年04期

3 張春城,周正歐;基于支持向量機(jī)的淺地層探地雷達(dá)目標(biāo)分類識別研究[J];電子學(xué)報;2005年06期

4 吳洪興;彭宇;彭喜元;;適用于不平衡樣本數(shù)據(jù)處理的支持向量機(jī)方法[J];電子學(xué)報;2006年S1期

5 關(guān)健,劉大昕;基于主成分分析的無監(jiān)督異常檢測[J];計算機(jī)研究與發(fā)展;2004年09期

6 業(yè)寧;孫瑞祥;董逸生;;多拉格朗日乘子協(xié)同優(yōu)化的SVM快速學(xué)習(xí)算法研究[J];計算機(jī)研究與發(fā)展;2006年03期

7 李燁;蔡云澤;尹汝潑;許曉鳴;;基于證據(jù)理論的多類分類支持向量機(jī)集成[J];計算機(jī)研究與發(fā)展;2008年04期

8 ;WAVELET KERNEL SUPPORT VECTOR MACHINES FOR SPARSE APPROXIMATION[J];Journal of Electronics;2006年04期

9 李苗苗;向鳳紅;劉新旺;;一種新穎隸屬度函數(shù)的模糊支持向量機(jī)[J];計算機(jī)工程與科學(xué);2009年09期

10 李紅蓮,王春花,袁保宗,朱占輝;針對大規(guī)模訓(xùn)練集的支持向量機(jī)的學(xué)習(xí)策略[J];計算機(jī)學(xué)報;2004年05期

，

本文編號：1481628