【摘要】：子空間學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個熱門課題,被廣泛應(yīng)用于計算機視覺、分析化學(xué)、生物信息學(xué)等領(lǐng)域。對維度高、訓(xùn)練樣本少的數(shù)據(jù),常用的回歸、分類模型經(jīng)常出現(xiàn)過擬合、參數(shù)估計誤差大等問題。然而,數(shù)據(jù)雖然是高維的,但是可能分布在一個低維的子空間上,在此低維子空間上對數(shù)據(jù)的回歸或分類就能避免出現(xiàn)過擬合、參數(shù)估計誤差大等問題。子空間學(xué)習(xí)是解決這個問題的一個重要途徑。針對具體的回歸、分類等任務(wù),學(xué)習(xí)最優(yōu)的子空間是子空間學(xué)習(xí)的核心問題。針對回歸、分類等問題,研究者基于各種準則通過設(shè)計對應(yīng)的目標函數(shù)以及對回歸系數(shù)、投影向量的正則化方法提出了多種子空間學(xué)習(xí)模型,然而,由于具體問題的復(fù)雜性,如何根據(jù)具體的回歸、分類任務(wù)設(shè)計目標函數(shù)以及回歸系數(shù)、投影向量的正則化方法以得到最高的回歸、分類準確度,仍然是子空間學(xué)習(xí)中的一個困難問題。本文的工作圍繞子空間學(xué)習(xí)理論中設(shè)計最優(yōu)的目標函數(shù)以及回歸系數(shù)、投影向量的正則化方法的幾個問題展開研究,集中研究了以最小化錯誤分類率、最小化均方誤差為目標學(xué)習(xí)最優(yōu)投影向量、數(shù)據(jù)之間具有相關(guān)性的子空間建模這三個問題。本文的研究內(nèi)容及取得的成果包括以下幾個方面:1.研究了線性分類問題中的最優(yōu)投影向量的問題,提出了一種近似最優(yōu)的線性判別模型。針對現(xiàn)有的線性判別分析模型沒有考慮投影向量是否最優(yōu)的、依賴于從樣本中估計分布的均值和協(xié)方差矩陣等問題,在數(shù)據(jù)服從Laplacian分布的情況下,分析了最小錯分率意義下求最優(yōu)投影向量的準則,并給出了魯棒的線性判別分析模型及線性規(guī)劃求解方法。該模型依賴于中值和平均絕對偏差的估計,比均值和協(xié)方差矩陣的估計要魯棒,適合訓(xùn)練樣本較少、有噪聲或異常點的情況。在服從高斯分布、Laplacian分布、有屬性缺失的高斯分布的數(shù)據(jù)上的仿真實驗顯示該模型都具有較好的分類效果。2.研究了線性回歸問題中的最優(yōu)投影向量的問題,提出了一種近似最優(yōu)的偏最小二乘模型。針對特征有噪聲的情況,分析了均方誤差與投影向量的關(guān)系,給出了基于偏最小二乘框架提取最優(yōu)投影向量的回歸模型。并進一步提出了一種近似最優(yōu)模型,給出了基于廣義特征值分解的模型求解方法。標準庫上的實驗顯示該模型具有更小的預(yù)測誤差,且使用了更少的隱藏變量。3.研究了對不同樣本之間的相關(guān)性、同一樣本不同特征之間相關(guān)性的聯(lián)合建模問題,提出了基于回歸框架的多任務(wù)多視角學(xué)習(xí)模型以及對應(yīng)的核多任務(wù)多視角學(xué)習(xí)模型,給出了顯示求解算法。并將該學(xué)習(xí)模型應(yīng)用到視頻跟蹤問題中,通過該模型實現(xiàn)了對視頻相鄰幀之間的相關(guān)性、多種特征的相關(guān)性性的聯(lián)合建模,在多個標準數(shù)據(jù)庫上的實驗結(jié)果顯示該方法在實時性、跟蹤精度與現(xiàn)有方法比有明顯提高。
[Abstract]:Subspace learning is a hot topic in the field of machine learning, which is widely used in computer vision, analytical chemistry, bioinformatics and other fields. For the data with high dimension and few training samples, the commonly used regression, the classification model is often overfitted, and the error of parameter estimation is large and so on. However, although the data is high-dimensional, it may be distributed in a low-dimensional subspace. The regression or classification of the data in this low-dimensional subspace can avoid over-fitting and large error in parameter estimation. Subspace learning is an important way to solve this problem. For specific tasks such as regression, classification and so on, learning the optimal subspace is the core problem of subspace learning. Aiming at the problems of regression, classification and so on, researchers put forward multiple sub-spatial learning models by designing corresponding objective functions and regularization methods of regression coefficients and projection vectors based on various criteria. However, due to the complexity of the specific problems, the authors put forward a multi-sub-spatial learning model. How to design objective function, regression coefficient and projection vector regularization method according to specific regression, classification task and regression coefficient, projection vector to obtain the highest regression, classification accuracy is still a difficult problem in subspace learning. In this paper, several problems of designing optimal objective function, regression coefficient and regularization method of projection vector in the subspace learning theory of work-around in this paper are studied, focusing on minimizing the error classification rate. Minimizing mean square error is the objective learning optimal projection vector, and the subspace modeling with correlation between data is three problems. The research contents and achievements of this paper include the following aspects: 1. In this paper, the problem of optimal projection vector in linear classification problem is studied, and an approximate optimal linear discriminant model is proposed. The existing linear discriminant analysis model does not consider whether the projection vector is optimal and depends on the estimation of the mean value and covariance matrix of the distribution from the sample. The data obeys the Laplacian distribution. The criterion for finding the optimal projection vector in the sense of minimum error rate is analyzed, and the robust linear discriminant analysis model and the solution method of linear programming are given. The model depends on the estimation of mean and mean absolute deviation and is more robust than the estimation of mean and covariance matrix. It is suitable for the case of fewer training samples with noise or outliers. Simulation experiments on the data of Gao Si distribution following Gao Si distribution, Laplacian distribution and Gao Si distribution with missing attributes show that the model has a good classification effect. 2. In this paper, the problem of optimal projection vector in linear regression problem is studied, and an approximate optimal partial least squares model is proposed. In this paper, the relation between mean square error and projection vector is analyzed, and the regression model based on partial least squares frame is given to extract the optimal projection vector. Furthermore, an approximate optimal model is proposed, and the solution method of the model based on generalized eigenvalue decomposition is given. Experiments on the standard library show that the model has a smaller prediction error and uses fewer hidden variables. 3. This paper studies the joint modeling of the correlation between different samples and different features of the same sample, and proposes a multi-task multi-perspective learning model based on regression framework and the corresponding kernel multi-task multi-perspective learning model. The display algorithm is given. The learning model is applied to the problem of video tracking, and the joint modeling of the correlation between adjacent frames and the correlation of multiple features is realized by this model. The experimental results on several standard databases show that the real-time performance and tracking accuracy of the proposed method are obviously improved compared with the existing methods.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP391.41;TP181

【相似文獻】

相關(guān)期刊論文 前10條

1 陳曉紅;陳松燦;;類依賴的線性判別分析[J];小型微型計算機系統(tǒng);2008年05期

2 劉忠寶;王士同;;改進的線性判別分析算法[J];計算機應(yīng)用;2011年01期

3 高建強;范麗亞;;模糊線性判別分析中距離對面部識別的影響[J];井岡山大學(xué)學(xué)報(自然科學(xué)版);2012年03期

4 葛熠;王亭亭;韓月;李峰;;基于核雙子空間線性判別分析人臉識別方法[J];科技視界;2012年23期

5 任獲榮;李春曉;孫建維;秦紅波;何培培;高敏;;類依賴增強線性判別分析算法[J];西安電子科技大學(xué)學(xué)報;2012年05期

6 溫鳳文;王洪春;;改進的張量線性判別分析[J];黑龍江科技信息;2013年24期

7 趙越;徐鑫;喬利強;;張量線性判別分析算法研究[J];計算機技術(shù)與發(fā)展;2014年01期

8 趙芳;馬玉磊;;基于概率線性判別分析的可擴展似然公式化人臉識別[J];科學(xué)技術(shù)與工程;2014年06期

9 周大可,楊新,彭寧嵩;改進的線性判別分析算法及其在人臉識別中的應(yīng)用[J];上海交通大學(xué)學(xué)報;2005年04期

10 成忠;諸愛士;;一種適于高維小樣本數(shù)據(jù)的線性判別分析方法[J];浙江科技學(xué)院學(xué)報;2008年02期

相關(guān)會議論文 前2條

1 歐陽梅蘭;張志敏;陳晨;劉鑫波;梁逸曾;;稀疏線性判別分析法在代謝組學(xué)數(shù)據(jù)研究中的應(yīng)用[A];中國化學(xué)會第29屆學(xué)術(shù)年會摘要集——第19分會：化學(xué)信息學(xué)與化學(xué)計量學(xué)[C];2014年

2 張明錦;杜一平;童佩瑾;;基于非相關(guān)線性判別分析的分層特征選擇方法及其在蛋白質(zhì)組數(shù)據(jù)分析中的應(yīng)用[A];第十屆全國計算(機)化學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

相關(guān)博士學(xué)位論文 前4條

1 任忠國;基于γ特征譜的對象相似性識別技術(shù)研究[D];蘭州大學(xué);2015年

2 江修保;子空間學(xué)習(xí)若干問題研究及其應(yīng)用[D];華中科技大學(xué);2016年

3 劉忠寶;基于核的降維和分類方法及其應(yīng)用研究[D];江南大學(xué);2012年

4 潘志斌;半監(jiān)督排序的若干關(guān)鍵問題研究[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 王金貝;基于奇異值分解的不相關(guān)線性判別分析的通解與性質(zhì)[D];鄭州大學(xué);2015年

2 林軒;幾種分類問題的研究[D];吉林大學(xué);2015年

3 孔昭陽;基于GPU的并行線性判別分析算法研究[D];哈爾濱工業(yè)大學(xué);2014年

4 袁愈章;圖正則和低秩多標記線性判別分析[D];上海交通大學(xué);2015年

5 張晶;非歐框架下的線性判別分析[D];遼寧師范大學(xué);2015年

6 喬娜娜;基于生物光子學(xué)小麥隱蔽性害蟲檢測機理及分類研究[D];河南工業(yè)大學(xué);2016年

7 杜輝;基于二維圖像的人臉識別研究[D];江蘇大學(xué);2016年

8 劉超;非迭代三維線性判別分析及其在人臉識別中的應(yīng)用[D];云南財經(jīng)大學(xué);2016年

9 霍中花;非重疊監(jiān)控場景下行人再識別關(guān)鍵技術(shù)研究[D];江南大學(xué);2016年

10 苗碩;基于L2，1范數(shù)和L1范數(shù)的魯棒判別特征提取算法研究[D];西安電子科技大學(xué);2015年

，

本文編號：2440920