發(fā)布時間：2020-03-23 10:47

【摘要】：隨著大數(shù)據(jù)時代的到來,人類活動在不同領域產(chǎn)生了大量數(shù)據(jù)。這些龐大的數(shù)據(jù)信息為計算機科學家提供了豐富研究素材的同時,也帶來了巨大的挑戰(zhàn)。其中,高維數(shù)據(jù)中存在大量的噪音和冗余信息,這不僅不能為科學家們提供更多的信息,還會對真正有用的信息造成干擾。因此,特征選擇技術應運而生。特征選擇技術是機器學習和模式識別領域中重要的數(shù)據(jù)預處理手段。特征選擇技術通過剔除數(shù)據(jù)中無關和冗余的特征,保留最具信息量的特征。利用特征選擇算法選擇出來的特征子集,可以提高數(shù)據(jù)質(zhì)量,從而提高分類器的準確率。根據(jù)與分類器的關系,特征選擇算法大致被劃分為三類:過濾法(Filter),封裝法(Wrapper)和嵌入法(Embedded)。過濾法由于它獨立于分類器,執(zhí)行速度快,易實現(xiàn)等特點而備受關注。另外,在搜索策略上,我們選擇序列前向搜索策略。在測量特征與特征,以及特征與標簽相關性時,我們利用信息論作為測量工具。傳統(tǒng)的基于信息論的過濾式特征選擇算法大致通過兩方面手段選取最具信息量的特征子集:減小特征冗余;增大新的分類信息。本文圍繞著兩方面特征選擇手段的缺陷,提出了兩種不同的解決方法;另外針對兩種手段同時忽略的問題,提出了一個補充項,并設計了一種新的特征選擇算法;最后,本文還對兩個新型特征選擇算法進行了優(yōu)化,并給出一種優(yōu)化特征選擇算法。具體而言,本文的主要貢獻點和創(chuàng)新點如下:1.總結(jié)兩類特征選擇方法;結(jié)合類依賴特征冗余和類獨立特征冗余,提出了一種混合特征選擇方法Minimal Redundancy-Maximal New Classification Information(MR-MNCI)。這種混合特征選擇方法分別與兩類特征選擇方法進行實驗對比,實驗結(jié)果證明MR-MNCI算法具有分類優(yōu)勢。另外,本文指出了該方法的不足以及未來的研究方向。2.通過分析增大新的分類信息的特征選擇算法和信息論的基本概念,對特征相關性進行了重新解釋,并提出了一種新的過濾式特征選擇算法Compositionof Feature Relevancy(CFR)。另外,我們通過一系列等式變換,證明了CFR算法符合一種通項,并通過實驗證明了CFR算法的分類優(yōu)勢。3.已存在的特征選擇算法忽略了已選特征的動態(tài)變化。根據(jù)一個實例在信息論測量上的表現(xiàn),本文提出了一個已選特征動態(tài)變化項,并且重新定義了特征相關性。通過結(jié)合新的特征相關項,已選特征動態(tài)變化項和特征冗余項。本文提出了一種極具競爭力的過濾式特征選擇算法Dynamic Change of Selected Feature(DCSF),并在4種不同分類器和在沒有特征選擇的情況下進行了實驗,DCSF算法取得了不錯的分類表現(xiàn)。4.傳統(tǒng)的特征選擇算法不區(qū)分候選特征相關性和已選特征相關性,并且在分類過程中,一些依賴特征被誤認為是冗余特征。針對以上問題,本文結(jié)合特征選擇算法Joint Mutual Information Maximization(JMIM)對最小聯(lián)合互信息的定義,以及Gene Selection via Dynamic Relevance(DRGS)算法對已選特征的權(quán)重賦值,將候選特征相關性和已選特征相關性進行區(qū)分,并且引進DRGS算法對已選特征的權(quán)重,提出了Dynamic Relevance and Joint Mutual Information Maximization(DRJMIM)算法。DRJMIM算法分別與JMIM和DRGS以及其它3個特征選擇算法分別在一個具體實例和12個真實數(shù)據(jù)集上了進行了實驗分析。實驗結(jié)果證明,DRJMIM算法優(yōu)于其它對比算法。本文致力于過濾式特征選擇算法在序列前向選擇策略上的研究。針對現(xiàn)有的過濾式特征選擇算法存在的問題,提出了不同的解決方案并取得了良好的效果。這些研究可以為一些高維數(shù)據(jù)剔除無關和冗余特征,保留相關特征,從而提高數(shù)據(jù)質(zhì)量。因此,具有重要的理論意義和應用價值。
【圖文】：

Filter模型與學習算法關系圖

吉林大學博士學位論文要性。封裝法的優(yōu)勢在：由于它在學習過程中直接應它所選出來的特征子集質(zhì)量較高。然而封裝法獲取選擇特征時，封裝法都要執(zhí)行分類算法，，根據(jù)分類子集的好壞。封裝法與分類算法的關系可以用圖 1
【學位授予單位】：吉林大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：TP391.3;TP181

【相似文獻】

相關期刊論文 前10條

1 吳中華;鄭瑋;;基于?_(2,1)范數(shù)的在線流特征選擇算法[J];計算機與數(shù)字工程;2019年06期

2 代琨;于宏毅;馬學剛;李青;;基于支持向量機的特征選擇算法綜述[J];信息工程大學學報;2014年01期

3 陳建華;王治和;蔣蕓;許虎寅;樊東輝;;一種改進的文本分類特征選擇算法[J];微電子學與計算機;2011年12期

4 張文靜;王備戰(zhàn);張志宏;;基于圖的特征選擇算法綜述[J];安徽大學學報(自然科學版);2017年01期

5 孫剛;張靖;;面向高維微陣列數(shù)據(jù)的集成特征選擇算法[J];計算機工程與科學;2016年07期

6 張自敏;;大數(shù)據(jù)中基于稀疏投影的在線特征選擇算法[J];湖南科技大學學報(自然科學版);2018年03期

7 陳曉明;;海量高維數(shù)據(jù)下分布式特征選擇算法的研究與應用[J];科技通報;2013年08期

8 李富星;蒙祖強;;一種改進的類別區(qū)分詞特征選擇算法[J];計算機與現(xiàn)代化;2019年03期

9 劉飛飛;;特征選擇算法及應用綜述[J];辦公自動化;2018年21期

10 侯嶼;秦小林;彭皓月;張力戈;;全局調(diào)距和聲特征選擇算法[J];計算機工程與應用;2019年02期

相關會議論文 前10條

1 甄超;鄭濤;許潔萍;;音樂流派分類中特征選擇算法研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

2 陳偉海;李建軍;趙志華;曹丹陽;李晉宏;;數(shù)據(jù)挖掘特征選擇算法研究及其在鋁電解中的應用[A];2011中國有色金屬行業(yè)儀表自動化學術會議論文集[C];2011年

3 張仰森;曹元大;;最大熵建模方法中一種改進的特征選擇算法[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學術會議論文集[C];2004年

4 張錚;胡社教;江萍;;基于EP模式的特征選擇算法[A];2011中國儀器儀表與測控技術大會論文集[C];2011年

5 周炎濤;唐劍波;王家琴;;基于信息熵的改進TFIDF特征選擇算法[A];第二十六屆中國控制會議論文集[C];2007年

6 徐燕;孫春明;王斌;李錦濤;;基于詞條頻率的特征選擇算法研究[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術會議論文集[C];2006年

7 李文法;段m#毅;劉悅;孫春來;;一種面向流分類的特征選擇算法[A];第四屆全國信息檢索與內(nèi)容安全學術會議論文集（上）[C];2008年

8 戴鍵;楊宏暉;;用于水聲目標識別的自適應免疫克隆特征選擇算法[A];2011'中國西部聲學學術交流會論文集[C];2011年

9 楊宏暉;李江濤;甘安琴;姚曉輝;;用于水下目標識別的無監(jiān)督譜特征選擇算法[A];2016年中國造船工程學會水中目標特性學組學術交流會論文集[C];2016年

10 羅勇;周超;許超;;文本分類在商品廣告分類中的應用[A];全國第五屆信號和智能信息處理與應用學術會議�？�(第一冊)[C];2011年

相關博士學位論文 前10條

1 高萬夫;基于序列前向選擇策略的過濾算法研究[D];吉林大學;2019年

2 田肅巖;吸納通路信息識別相關基因的特征選擇算法的研究[D];吉林大學;2018年

3 黃鑫;基于特征關聯(lián)關系的特征選擇算法研究[D];大連理工大學;2018年

4 李云;特征選擇算法及其在基于內(nèi)容圖像檢索中的應用研究[D];重慶大學;2005年

5 張靖;面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究[D];合肥工業(yè)大學;2014年

6 劉華文;基于信息熵的特征選擇算法研究[D];吉林大學;2010年

7 史彩娟;網(wǎng)絡空間圖像標注中半監(jiān)督稀疏特征選擇算法研究[D];北京交通大學;2015年

8 楊杰明;文本分類中文本表示模型和特征選擇算法研究[D];吉林大學;2013年

9 潘巍巍;故障嚴重程度識別的有序分類特征分析方法[D];哈爾濱工業(yè)大學;2013年

10 楊峻山;生物組學數(shù)據(jù)的集成特征選擇研究[D];深圳大學;2017年

相關碩士學位論文 前10條

1 李飛;基于層次聚類的生物數(shù)據(jù)特征選擇算法的研究與實現(xiàn)[D];吉林大學;2019年

2 王穎;基于烏鴉搜索算法的特征選擇算法的研究及改進優(yōu)化[D];吉林大學;2019年

3 李森;基于多目標進化優(yōu)化的癌癥數(shù)據(jù)特征選擇算法研究[D];安徽大學;2019年

4 郭偉;大樣本高維數(shù)據(jù)下基于進化多目標優(yōu)化的特征選擇算法研究[D];安徽大學;2019年

5 唐莉;基于樣本差異性分析的多標記特征選擇算法研究[D];閩南師范大學;2019年

6 李昌聰;基于代價敏感的特征選擇算法研究及應用[D];蘭州大學;2019年

7 趙凱;Android惡意應用檢測中特征選擇算法的研究[D];湖南大學;2016年

8 趙軍;基于Top-r方法的特征選擇算法研究[D];湖南大學;2014年

9 樊力文;基于Spark的穩(wěn)定特征及流式特征選擇算法研究[D];河南大學;2018年

10 脫倩娟;基于數(shù)據(jù)相似性的特征選擇算法研究[D];閩南師范大學;2018年

本文編號：2596617