本文關(guān)鍵詞： 特征選擇 子空間學(xué)習(xí) 稀疏建模 降維 機(jī)器學(xué)習(xí)　出處：《電子科技大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：隨著數(shù)據(jù)采集技術(shù)的不斷進(jìn)步,原始數(shù)據(jù)的維度變的越來越高。更高維度的數(shù)據(jù)能獲得更多有用信息的同時(shí)也引入很多冗余、增加算法的計(jì)算復(fù)雜度。為了適應(yīng)日益增長的數(shù)據(jù)維度和有效處理樣本數(shù)據(jù),減少數(shù)據(jù)的冗余,如何從高維度數(shù)據(jù)中有效的學(xué)習(xí)到低維度特征是現(xiàn)在數(shù)據(jù)處理及大數(shù)據(jù)中迫切需要解決的問題。隨著數(shù)據(jù)采集方式越來越多樣化,數(shù)據(jù)樣本的數(shù)量越來越多,若對(duì)訓(xùn)練樣本進(jìn)行人工標(biāo)記需要消耗大量的時(shí)間成本和人力成本。因此,無監(jiān)督的數(shù)據(jù)降維特征學(xué)習(xí)方法越來越受人們所重視。本文以無監(jiān)督特征學(xué)習(xí)算法為研究課題,重點(diǎn)研究了基于稀疏和信息論的無監(jiān)督特征學(xué)習(xí)算法,所包含的兩大塊研究內(nèi)容如下:第一,本文研究了在基于稀疏建模的無監(jiān)督特征選擇方法的建模及算法設(shè)計(jì)。首先,特征選擇問題被建模成子空間學(xué)習(xí)模型,并通過在模型中加入稀疏約束來選擇出更有用的特征。這部分提出了三種基于子空間學(xué)習(xí)的特征選擇方法:1)為了更有效地選擇出特征且消除負(fù)貢獻(xiàn)對(duì)問題的影響,提出了一種基于非負(fù)子空間學(xué)習(xí)模型。為了更有效地挖掘數(shù)據(jù)內(nèi)部信息,本文將自適應(yīng)稀疏性框架ISD加入到子空間學(xué)習(xí)的過程中,提出了一種非負(fù)自適應(yīng)稀疏約束的子空間學(xué)習(xí)模型;2)為了充分應(yīng)用數(shù)據(jù)內(nèi)部的信息,本文進(jìn)一步考慮將數(shù)據(jù)的局部結(jié)構(gòu)加入到子空間學(xué)習(xí)的過程中,提出了一種全局及局部結(jié)構(gòu)保持的子空間學(xué)習(xí)模型;3)在無監(jiān)督背景下,為了加入判別信息,本文將樣本聚類信息作為一種判別信息加入到子空間學(xué)習(xí)的過程中,提出了一種判別子空間學(xué)習(xí)方法。第二,本文研究了基于信息論學(xué)習(xí)的魯棒無監(jiān)督特征學(xué)習(xí)方法。在特征學(xué)習(xí)中若數(shù)據(jù)存在局外點(diǎn),基于Frobenius范數(shù)設(shè)計(jì)的目標(biāo)函數(shù)會(huì)受到局外點(diǎn)的嚴(yán)重影響。本文采用信息論學(xué)習(xí)中最大相關(guān)熵準(zhǔn)則對(duì)目標(biāo)函數(shù)進(jìn)行建模,提出了兩種基于最大相關(guān)熵準(zhǔn)則的魯棒特征學(xué)習(xí)模型:1)為了提高無監(jiān)督特征選擇模型對(duì)于局外點(diǎn)的魯棒性,本文采用最大相關(guān)熵準(zhǔn)則與局部結(jié)構(gòu)保持子空間學(xué)習(xí)相結(jié)合對(duì)無監(jiān)督特征選擇模型進(jìn)行建模,并提出了基于最大相關(guān)熵準(zhǔn)則的魯棒無監(jiān)督特征選擇模型;2)為了提高稀疏主成分分析(SPCA)關(guān)于局外點(diǎn)的魯棒性,本文采用最大相關(guān)熵準(zhǔn)則對(duì)SPCA進(jìn)行建模。同時(shí)為了更加充分的利用樣本內(nèi)部的信息,于是在SPCA模型中加入多超圖學(xué)習(xí)正則項(xiàng),使模型能夠利用樣本內(nèi)部的流形信息,并提出一種基于最大相關(guān)熵準(zhǔn)則和高階流形約束的稀疏主成分分析模型。
[Abstract]:With the development of data acquisition technology, the dimension of raw data becomes higher and higher. The higher dimension data can obtain more useful information, but also introduce a lot of redundancy. Increase the computational complexity of the algorithm. In order to adapt to the growing data dimension and effectively process the sample data, reduce the data redundancy, How to effectively learn low-dimensional features from high-dimensional data is an urgent problem in data processing and big data. With the increasing diversity of data acquisition methods, the number of data samples is increasing. If manual marking of training samples requires a large amount of time and manpower costs, unsupervised dimensionality reduction feature learning methods are paid more and more attention. In this paper, unsupervised feature learning algorithm is taken as a research topic. This paper focuses on the unsupervised feature learning algorithm based on sparse and information theory. The research contents are as follows: first, this paper studies the modeling and algorithm design of unsupervised feature selection method based on sparse modeling. The feature selection problem is modeled as a subspace learning model. In this part, we propose three feature selection methods based on subspace learning:: 1) in order to select the feature more effectively and eliminate the negative contribution to the problem. In this paper, a non-negative subspace learning model is proposed. In order to mine the internal information of the data more effectively, the adaptive sparse framework (ISD) is added to the learning process of the subspace. In this paper, a non-negative adaptive sparse constraint subspace learning model is proposed. In order to fully apply the information inside the data, the local structure of the data is further considered in the process of subspace learning. In this paper, a global and local structure-preserving subspace learning model is proposed. In order to add discriminant information, sample clustering information is added to the process of subspace learning under unsupervised background. A discriminant subspace learning method is proposed. Secondly, a robust unsupervised feature learning method based on information theory learning is studied. The objective function based on Frobenius norm design will be seriously affected by the local point. In this paper, the maximum correlation entropy criterion in information theory learning is used to model the objective function. In order to improve the robustness of the unsupervised feature selection model to the local and outer points, two robust feature learning models based on the maximum correlation entropy criterion are proposed. In this paper, the model of unsupervised feature selection is modeled by using the maximum correlation entropy criterion and local structure preserving subspace learning. In order to improve the robustness of sparse principal component analysis (SPCA), a robust unsupervised feature selection model based on the maximum correlation entropy criterion is proposed. In this paper, the maximum correlation entropy criterion is used to model the SPCA. In order to make full use of the information inside the sample, we add the multi-hypergraph to the SPCA model to learn the regular term, so that the model can make use of the manifold information inside the sample. A sparse principal component analysis model based on maximum correlation entropy criterion and higher order manifold constraints is proposed.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何一鳴;;無監(jiān)督的互聯(lián)網(wǎng)事件抽取框架[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年03期

2 曹麗;陳才扣;;核無監(jiān)督鑒別投影及人臉識(shí)別[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年15期

3 殷柏濤;一種改進(jìn)的無監(jiān)督競爭學(xué)習(xí)算法[J];聲學(xué)與電子工程;1995年02期

4 郭小衛(wèi);官小平;;一種多尺度無監(jiān)督遙感圖像分割方法[J];遙感信息;2006年06期

5 楊斌;劉衛(wèi)國;;一種基于聚類的無監(jiān)督異常檢測方法[J];計(jì)算機(jī)工程與應(yīng)用;2008年01期

6 孫懌;歐智堅(jiān);胡煒;;利用無監(jiān)督自適應(yīng)的興奮解說檢測和體育比賽精彩片斷提取[J];計(jì)算機(jī)應(yīng)用與軟件;2008年11期

7 曹蘇群;王駿;王士同;;正交約束的無監(jiān)督統(tǒng)計(jì)不相關(guān)最佳鑒別平面[J];計(jì)算機(jī)工程與科學(xué);2010年05期

8 黃璞;陳才扣;;增強(qiáng)的無監(jiān)督人臉鑒別技術(shù)[J];計(jì)算機(jī)工程與應(yīng)用;2010年18期

9 吳姍;倪志偉;羅賀;鄭盈盈;;一種基于密度的無監(jiān)督聯(lián)系發(fā)現(xiàn)方法[J];中國管理科學(xué);2008年S1期

10 朱琳;王宇杰;;信息瓶頸方法在無監(jiān)督圖像聚類中的研究[J];微計(jì)算機(jī)信息;2008年24期

相關(guān)會(huì)議論文 前10條

1 吳姍;倪志偉;羅賀;鄭盈盈;;一種基于密度的無監(jiān)督聯(lián)系發(fā)現(xiàn)方法[A];第十屆中國管理科學(xué)學(xué)術(shù)年會(huì)論文集[C];2008年

2 郭瑛媚;史曉東;陳毅東;高燕;;基于詞的話題分布相似度的無監(jiān)督日文旅游意見詞翻譯[A];機(jī)器翻譯研究進(jìn)展——第七屆全國機(jī)器翻譯研討會(huì)論文集[C];2011年

3 徐嘉明;張衛(wèi)強(qiáng);劉加;夏善紅;;基于無監(jiān)督遷移分量分析的語種識(shí)別[A];第十二屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC'2013）論文集[C];2013年

4 洪宇;張劍峰;楊躍輝;姚建民;朱巧明;;基于文法特征的無監(jiān)督能愿詞挖掘方法研究[A];第六屆全國信息檢索學(xué)術(shù)會(huì)議論文集[C];2010年

5 楊睿;山本博史;菊井玄一郎;S坂芳典;;針對(duì)統(tǒng)計(jì)機(jī)器翻譯的無監(jiān)督中文文本切分[A];第二屆全國學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2004年

6 張愛華;荊繼武;向繼;秦鈺;;基于規(guī)則化詞分布特征的無監(jiān)督特征選取算法[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（上冊）[C];2007年

7 王章輝;趙宇海;王國仁;李源;;一種基于投影聚類的無監(jiān)督表型區(qū)分算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

8 黃金虎;大衛(wèi);;無監(jiān)督下的詞切分和詞分類的試驗(yàn)(英文)[A];第一屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2002年

9 馬韜;陳杰;陳文頡;張博;;光纖陀螺信號(hào)降噪的無監(jiān)督自適應(yīng)濾波方法[A];第二十九屆中國控制會(huì)議論文集[C];2010年

10 潘霖;張雪英;吉根林;;一種基于Bootstrapping的中文領(lǐng)域術(shù)語獲取算法[A];中國通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

相關(guān)重要報(bào)紙文章 前3條

1 記者 雷輝　通訊員 張其明;督促推動(dòng)立法轉(zhuǎn)變政府職能[N];南方日?qǐng)?bào);2013年

2 王石川;蒙塵的象牙塔，，權(quán)力無監(jiān)督就會(huì)有腐敗[N];法制日?qǐng)?bào);2013年

3 山東 教師 王傳濤;無人查與不敢查 皆因權(quán)力無監(jiān)督[N];法制日?qǐng)?bào);2013年

相關(guān)博士學(xué)位論文 前10條

1 周楠;基于稀疏和信息論的無監(jiān)督特征學(xué)習(xí)算法研究[D];電子科技大學(xué);2017年

2 王寅同;無監(jiān)督與半監(jiān)督降維相關(guān)問題研究[D];南京航空航天大學(xué);2016年

3 楊波;圖驅(qū)動(dòng)的無監(jiān)督降維和判別子空間學(xué)習(xí)研究及其應(yīng)用[D];南京航空航天大學(xué);2010年

4 魏松;人機(jī)對(duì)話系統(tǒng)中若干關(guān)鍵問題研究[D];北京郵電大學(xué);2007年

5 李靜;高維數(shù)據(jù)交互特征選擇和分類研究[D];燕山大學(xué);2015年

6 劉風(fēng);基于磁共振成像的多變量模式分析方法學(xué)與應(yīng)用研究[D];電子科技大學(xué);2014年

7 王石平;粗糙擬陣及其在高維數(shù)據(jù)降維中的應(yīng)用研究[D];電子科技大學(xué);2014年

8 代琨;基于支持向量機(jī)的網(wǎng)絡(luò)數(shù)據(jù)特征選擇技術(shù)研究[D];解放軍信息工程大學(xué);2013年

9 王愛國;微陣列基因表達(dá)數(shù)據(jù)的特征分析方法研究[D];合肥工業(yè)大學(xué);2015年

10 楊峻山;生物組學(xué)數(shù)據(jù)的集成特征選擇研究[D];深圳大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 王濤;基于領(lǐng)域知識(shí)監(jiān)督的商品方面提取[D];華南理工大學(xué);2015年

2 馬陳;基于無監(jiān)督摳圖模型的顯著性區(qū)域提取算法研究[D];合肥工業(yè)大學(xué);2014年

3 師飄;輸電線路上鳥巢的檢測算法研究[D];北京交通大學(xué);2017年

4 高雙印;基于深度學(xué)習(xí)的藥物活性研究[D];新疆大學(xué);2017年

5 林樂平;基于無監(jiān)督的入侵檢測[D];西安電子科技大學(xué);2005年

6 孫勇亮;開放領(lǐng)域的中文實(shí)體無監(jiān)督關(guān)系抽取[D];華東師范大學(xué);2014年

7 谷平;基于關(guān)聯(lián)修正的無監(jiān)督入侵檢測算法研究[D];天津理工大學(xué);2014年

8 孫全力;一種無監(jiān)督的模式識(shí)別方法及其在油氣識(shí)別中的應(yīng)用[D];成都理工大學(xué);2003年

9 叢萬玉;基于無監(jiān)督的無線傳感器網(wǎng)絡(luò)入侵檢測技術(shù)研究[D];吉林大學(xué);2009年

10 王晶;無監(jiān)督的中文實(shí)體關(guān)系抽取研究[D];華東師范大學(xué);2012年

本文編號(hào)：1499577