【摘要】：特征選擇技術是機器學習和數(shù)據(jù)挖掘任務的關鍵預處理技術。傳統(tǒng)貪婪式特征選擇方法僅考慮本輪最佳特征,從而導致獲取的特征子集僅為局部最優(yōu),無法獲得最優(yōu)或者近似最優(yōu)的特征集合。進化搜索方式則有效地對特征空間進行搜索,然而不同的進化算法在搜索過程中存在自身的局限。本文吸取遺傳算法(GA)和粒子群優(yōu)化算法(PSO)的進化優(yōu)勢,以信息熵度量為評價,通過協(xié)同演化的方式獲取最終特征子集。并提出適用于特征選擇問題特有的比特率交叉算子和信息交換策略。實驗結果顯示,遺傳算法和粒子群協(xié)同進化(GA-PSO)在進化搜索特征子集的能力和具體分類學習任務上都優(yōu)于單獨的演化搜索方式。進化搜索提供的組合判斷能力優(yōu)于貪婪式特征選擇方法。
【圖文】：

以防止陷入局部最優(yōu)，又提升了演化速度。1基礎知識1．1特征選擇數(shù)據(jù)集D中含有k個樣本D={x1，x2，…，xk}，并且D中的每個樣本都有特征集合F，F(xiàn)包含n維特征，xi∈Ｒn。對于分類問題，可將D中樣本劃分為目標向量C中的m個不同的類C={C1，C2，…，Cm}。特征選擇的目的，是在原始特征集合N中尋找到一個最佳特征子集P，其中含有p維特征(p＜n)，，在該特征子集下能最大化分類任務(或其他學習任務)的預測正確率。特征選擇處理包括4個組件:特征子集生成、子集評估、終止條件和結果驗證。如圖1所示，在階段1中根據(jù)一個確定的搜索策略特征子集生成組件會預先產(chǎn)生候選特征子集。每一個候選特征子集都會被一個確定的評估方式所度量，并與之前最佳的候選特征子集做比較，如果新的特征子集表現(xiàn)得更加優(yōu)越，那么替換原有的最佳特征子集。當滿足設定的終止條件時，生成和評估這兩個過程將不再循環(huán)。在階段2中，最終所選的特征子集需要被一些給定的學習算法進行結果驗證，其中ACC為學習正確率［3］。圖1特征選擇處理的統(tǒng)一視角Fig．1Aunifiedviewoffeatureselectionprocess1．2遺傳算法基本原理遺傳算法作為一種自適應全局優(yōu)化搜索算法，其選擇、交叉與變異的3個算子成為種群尋優(yōu)和保持解多樣性的關鍵。其基本執(zhí)行過程如下。1)初始化:確定種群規(guī)模N、交叉概率Pcross、變異概率Pmutation和終止進化準則。2)個體評價:計算每個個體的適應度。3)種群進化:①選擇算子:個體被選中的概率與其適應度函數(shù)值成正比。②交叉算子:根據(jù)交叉概率Pcross對2條染色體交換部分基因，構造下一代新的染色體。③變異算子:根據(jù)概率Pmutation對群體中的不同個體指定的基因位進行改造。④終止檢驗:如已?

，利用該函數(shù)將連續(xù)的速度值轉化為離散的位置。在最初的研究中使用式(3)中的sigmoid函數(shù)作為轉換函數(shù)將實值的速度映射為［0，1］之間的值。Tvkh((t))=11+e－vkh(t)(3)式中:vkh(t)為粒子h在第t輪迭代中第k維的速度。在將粒子速度轉換為概率值后，位置向量將依據(jù)概率值進行更新:xkh(t+1)=0，rand＜Tvkh((t+1))1，rand≥Tvkh((t+1)){(4)2求解特征子集的協(xié)同演化方法2．1編碼方式本文使用了二進制比特串的編碼方式，該編碼方式通用于遺傳算法和二元粒子群方法，如圖2所示。將每個二進制串作為一個個體(粒子)，個體(粒子)中的每一維(每一比特)都代表一個候選特征，當該位為1時表示該特征被選中，并添加到候選的特征子集中;當該位為0時表示該特征未被選中。依據(jù)此編碼方式將特征選擇問題轉換為尋找最佳個體(粒子)的問題。圖2二元粒子群的編碼方式Fig．2CodingschemeofBPSO2．2適應度函數(shù)本文使用互信息熵理論對特征子集進行整體評估，兩個變量的互信息值越大，則意味著兩個變量相關程度越緊密;當互信息為零時，則意味著兩個變量完全不相關。特征集合F={f1，f2，…，fn}中某一特征fi與類別的互信息度量如下:I(fi，C)=H(fi)+H(C)－H(fi，C)(5)式中:H為變量的熵值，用以度量隨機變量信息的不確定性。以類別向量為例，H(C)通常用作描述離散隨機變量C={c1，c2，…，cn}熵值，ci是變量C的可能取值，p(ci)為概率密度函數(shù)。H(C)=－∑mi=1p(ci)log(p(ci))(6)當已知特征變量和類別變量fi和C的聯(lián)合概率密度時(對于離散數(shù)據(jù)意味著兩個變量對應的屬性值聯(lián)合出現(xiàn)的頻度)，兩者的聯(lián)合熵為Hfi(，C)=－∑

【相似文獻】

相關期刊論文 前10條

1 滕旭陽;董紅斌;孫靜;;面向特征選擇問題的協(xié)同演化方法[J];智能系統(tǒng)學報;2017年01期

2 任江濤;黃煥宇;孫婧昊;印鑒;;基于遺傳算法及聚類的基因表達數(shù)據(jù)特征選擇[J];計算機科學;2006年09期

3 曾孝平;李勇明;王靖;張曉娟;鄭雅敏;;基于競爭策略的鏈式智能體遺傳算法用于特征選擇的研究[J];系統(tǒng)仿真學報;2008年08期

4 曾孝平;王靖;李勇明;鄭雅敏;張曉娟;;用于特征選擇的多準則閉合鏈式遺傳算法[J];數(shù)據(jù)采集與處理;2008年04期

5 任斌,豐鎮(zhèn)平;改進遺傳算法與粒子群優(yōu)化算法及其對比分析[J];南京師范大學學報(工程技術版);2002年02期

6 唐鳳;宣士斌;范曉杰;;基于遺傳算法的關節(jié)特征選擇[J];廣西民族大學學報(自然科學版);2017年01期

7 解英杰;朱振方;;一種基于模糊遺傳算法的最優(yōu)特征子集優(yōu)化方法研究[J];信息技術與信息化;2008年06期

8 任江濤;孫婧昊;黃煥宇;印鑒;;一種基于信息增益及遺傳算法的特征選擇算法[J];計算機科學;2006年10期

9 黃菊;;基于遺傳算法的產(chǎn)品基因重組設計[J];電腦與電信;2016年12期

10 張子寧;單甘霖;段修生;張岐龍;;基于改進遺傳算法的支持向量機特征選擇[J];電子產(chǎn)品世界;2010年Z1期

相關會議論文 前10條

1 易超群;李建平;朱成文;;一種改進的浮動搜索特征子集算法[A];'2010系統(tǒng)仿真技術及其應用學術會議論文集[C];2010年

2 楊雅偉;侍洪波;;量子粒子群優(yōu)化算法及其應用研究[A];中國儀器儀表學會第九屆青年學術會議論文集[C];2007年

3 廖勇;王飛;;基于混合改進遺傳算法的非線性規(guī)劃問題研究[A];第四屆中國智能計算大會論文集[C];2010年

4 彭軍;徐本柱;劉曉平;;遺傳算法的實現(xiàn)及其在生產(chǎn)調度中的應用[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

5 陳猛;;遺傳算法在機械設計中的研究和創(chuàng)新[A];2017年9月全國教育科學學術科研成果匯編[C];2017年

6 賴梅;熊麗榮;;基于改進遺傳算法的乘務交路優(yōu)化問題研究[A];第二十一屆中國控制會議論文集[C];2002年

7 肖龍光;丁曉東;;基于理性變異的遺傳算法[A];第六屆中國青年運籌與管理學者大會論文集[C];2004年

8 肖龍光;丁曉東;謝集平;;粒子群優(yōu)化算法的改進[A];第二十三屆中國控制會議論文集（上冊）[C];2004年

9 鞠訓光;于洪珍;;求整體優(yōu)化全部解的區(qū)間排除遺傳算法[A];第十七屆全國過路控制會議論文集[C];2006年

10 劉興隆;;快速進化式遺傳算法[A];“電力大系統(tǒng)災變防治和經(jīng)濟運行重大課題”部分專題暨第九屆全國電工數(shù)學學術年會論文集[C];2003年

相關重要報紙文章 前1條

1 上�？茖W院規(guī)劃研究處 劉小玲;上海能否成為人工智能城市[N];解放日報;2017年

相關博士學位論文 前10條

1 滕旭陽;面向特征選擇問題的優(yōu)化方法研究[D];哈爾濱工程大學;2017年

2 馬國田;遺傳算法及其在電磁工程中的應用[D];西安電子科技大學;1998年

3 孫秋紅;基于遺傳算法的水質數(shù)據(jù)挖掘與應用研究[D];燕山大學;2016年

4 宋曉峰;優(yōu)生演進優(yōu)化和統(tǒng)計學習建模[D];浙江大學;2003年

5 李智勇;模式交流多群體遺傳算法及其在神經(jīng)網(wǎng)絡進化建模中的應用[D];湖南大學;2003年

6 田明俊;智能反演算法及其應用研究[D];大連理工大學;2006年

7 王微微;氣液兩相流參數(shù)檢測新方法研究[D];浙江大學;2006年

8 溫步瀛;發(fā)電機組啟停機計劃的智能優(yōu)化研究[D];福州大學;2006年

9 葛培明;改進的遺傳算法及其在工程優(yōu)化中的應用[D];西南交通大學;2006年

10 潘偉;基于遺傳算法的魯棒控制問題研究[D];東北大學;2006年

相關碩士學位論文 前10條

1 王靖;基于基因鎖定及鏈式智能體遺傳算法的特征選擇研究[D];重慶大學;2008年

2 鄭雅敏;基于遺傳算法的特征選擇方法的改進研究[D];重慶大學;2008年

3 馮茂;基于粒子群優(yōu)化的網(wǎng)絡視頻流特征選擇與識別[D];南京郵電大學;2017年

4 曹彥;基于支持向量機的特征選擇及其集成方法的研究[D];鄭州大學;2010年

5 杜政霖;在線特征選擇及其應用[D];南京郵電大學;2017年

6 吳冠朋;基于智能計算的HBV病毒再激活分類預測模型研究[D];齊魯工業(yè)大學;2017年

7 付志軍;遺傳算法和粒子群優(yōu)化算法在車間作業(yè)調度問題中的應用[D];吉林大學;2014年

8 江中央;正交遺傳算法及其應用研究[D];中南大學;2008年

9 吳佳英;多親遺傳算法及其應用研究[D];湘潭大學;2003年

10 朱合興;基于蒙特卡羅樹搜索的預測狀態(tài)表示模型獲取及特征選擇研究[D];廈門大學;2017年

本文編號：2556648