基于互信息的特征選擇方法研究
發(fā)布時間：2021-09-04 00:56
特征選擇一直是模式識別領域的研究熱點之一。模式識別是對數據進行分類,分類的過程可以在原始數據空間中完成,也可以對原始數據進行變換,將數據映射到更能反映分類本質的特征空間中進行。在特征空間中得到的分類模型無論是模型的訓練時間還是模型的可解釋性都優(yōu)于直接從原始數據得到的分類模型。所以特征選擇的研究是模式識別的一項重要任務。論文詳細介紹了基于互信息的過濾式特征選擇算法的基本概念,在分析了已有的特征選擇算法的優(yōu)缺點之后,提出了兩種新的特征選擇算法。（1）提出了一種基于最小條件相關和最小條件冗余的特征選擇算法-MCRMCR（Minimum Conditional Relevancy and Minimum Conditional Redundancy）算法。通過對RelaxFS（Feature Selection based on Relaxing Max-relevance and Min-redundancy）算法的分析發(fā)現,RelaxFS算法在特征選擇過程中,使用所有的已選特征對新特征進行評價,這樣會在計算特征與類的相關性和特征與已選特征集合的冗余性過程中耗費大量的時間。因此為了更精確地刻...
【文章來源】：西安理工大學陜西省
【文章頁數】：58 頁
【學位級別】：碩士
【部分圖文】：
熵和互信息之間的關系
特征的評價由兩項組成，第一項為特征mX 與類的相關性，第二項合中的特征sX 之間的冗余性。參數 用來權衡相關和冗余之間的權更傾向于選擇高類相關低特征間冗余的特征。體例如 mRMR，和 MIFS 很像，這里將參數 設置為了|S|1。將候選集合中的每個sX 的冗余值進行均值化，更具體的表示了特征mX 和已趨勢。 XSmRMRmmmssJ XIXCI(X;X)|S|1( )(;)特征選擇評價準則中引入了冗余，但是評價冗余的工具仍然是二維互的 CIFE,其將冗余擴展為了類內冗余。 XScifemmmsmssJ (X)I(X;C){I(X;X)I(X;X|C)} I( X;X)I(X;X|C)msms 表示類內冗余，CIFE 使用條件互信息將冗與類相關的冗余，一種是與類部分相關的冗余。區(qū)別如下：
COIL20 62.27±0.24 87.39±0.18 88.69±0.18 90.13±0.19 90.34±0.19 91.00±0.19warpPIE10p 79.93±0.19 92.16±0.14 93.02±0.14 86.07±0.12 93.50±0.14 93.34±0.14TOX 171 65.81±0.09 78.17±0.12 79.44±0.13 84.73±0.14 85.10±0.13 78.59±0.12Average 63.66±0.16 74.79±0.14 75.39±0.14 70.98±0.12 77.72±0.14 78.56±0.15表 3-5 為 6 種特征選擇算法在 KNN 分類器上的平均分類準確率值。表現最好的三個特征選擇算法分別是 CIFE 算法，RelaxFS 算法和 MCRMCR 算法。其中 CIFE 算法在兩個數據集上獲得最高的分類準確率，RelaxFS 算法在四個數據集上獲得最高的分類準確率，MCRMCR 算法在五個數據集上可以獲得最高的分類準確率。結合表格的最后一行可以看出，不 同 的 特 征 選 擇 算 法 在 KNN 分 類 器 上 的 分 類 準 確 率 具 有 這 樣 的 趨 勢 ：MCRMCR>RelaxFS>mRMR>JMI>CIFE>MIM。比較表 3-4 和表 3-5，我們依然可以得到不同分類器對 MCRMCR 算法和其他特征選擇算法的影響。比較 MCRMCR 算法使用兩種分類器的結果，可以看出，MCRMCR算法在SVM分類器上可以獲得更好結果的數量大于MCRMCR算法在 KNN 分類器上得到的最好結果數量。而 RelaxFS 算法在 KNN 分類器上可以獲得更好結果的數量小于其在 KNN 分類器上得到的最好結果數量。所以 MCRMCR 算法更適合作為 SVM 分類器的預處理過程。
本文編號：3382224
【文章來源】：西安理工大學陜西省
【文章頁數】：58 頁
【學位級別】：碩士
【部分圖文】：
熵和互信息之間的關系
特征的評價由兩項組成，第一項為特征mX 與類的相關性，第二項合中的特征sX 之間的冗余性。參數 用來權衡相關和冗余之間的權更傾向于選擇高類相關低特征間冗余的特征。體例如 mRMR，和 MIFS 很像，這里將參數 設置為了|S|1。將候選集合中的每個sX 的冗余值進行均值化，更具體的表示了特征mX 和已趨勢。 XSmRMRmmmssJ XIXCI(X;X)|S|1( )(;)特征選擇評價準則中引入了冗余，但是評價冗余的工具仍然是二維互的 CIFE,其將冗余擴展為了類內冗余。 XScifemmmsmssJ (X)I(X;C){I(X;X)I(X;X|C)} I( X;X)I(X;X|C)msms 表示類內冗余，CIFE 使用條件互信息將冗與類相關的冗余，一種是與類部分相關的冗余。區(qū)別如下：
COIL20 62.27±0.24 87.39±0.18 88.69±0.18 90.13±0.19 90.34±0.19 91.00±0.19warpPIE10p 79.93±0.19 92.16±0.14 93.02±0.14 86.07±0.12 93.50±0.14 93.34±0.14TOX 171 65.81±0.09 78.17±0.12 79.44±0.13 84.73±0.14 85.10±0.13 78.59±0.12Average 63.66±0.16 74.79±0.14 75.39±0.14 70.98±0.12 77.72±0.14 78.56±0.15表 3-5 為 6 種特征選擇算法在 KNN 分類器上的平均分類準確率值。表現最好的三個特征選擇算法分別是 CIFE 算法，RelaxFS 算法和 MCRMCR 算法。其中 CIFE 算法在兩個數據集上獲得最高的分類準確率，RelaxFS 算法在四個數據集上獲得最高的分類準確率，MCRMCR 算法在五個數據集上可以獲得最高的分類準確率。結合表格的最后一行可以看出，不 同 的 特 征 選 擇 算 法 在 KNN 分 類 器 上 的 分 類 準 確 率 具 有 這 樣 的 趨 勢 ：MCRMCR>RelaxFS>mRMR>JMI>CIFE>MIM。比較表 3-4 和表 3-5，我們依然可以得到不同分類器對 MCRMCR 算法和其他特征選擇算法的影響。比較 MCRMCR 算法使用兩種分類器的結果，可以看出，MCRMCR算法在SVM分類器上可以獲得更好結果的數量大于MCRMCR算法在 KNN 分類器上得到的最好結果數量。而 RelaxFS 算法在 KNN 分類器上可以獲得更好結果的數量小于其在 KNN 分類器上得到的最好結果數量。所以 MCRMCR 算法更適合作為 SVM 分類器的預處理過程。
本文編號：3382224
本文鏈接：http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3382224.html
