本文關鍵詞：快速多核學習分類研究及應用

  更多相關文章： 多核學習 核評估 高光譜圖像分類 不平衡分類 自然圖像分類

【摘要】：核學習是一種非常流行的非線性分類問題解決方法,它通過構建核矩陣來描述樣本在高維空間的相似程度,達到種類區(qū)分目的。多核學習是核學習新的發(fā)展和研究方向。相比于傳統(tǒng)的單核學習,多核學習整合多個子核到一個統(tǒng)一的優(yōu)化框架內,從而尋求多個子核之間的一種最佳組合。多核學習可以有效避免核參數(shù)的經(jīng)驗調節(jié),減少了人為參與。另外,當子核對應單個特征或者每一維時,多核學習還可以很好地解決特征選擇和維數(shù)約簡問題。但是多核學習的高計算復雜度,使得它在學習訓練過程中花費了大量的時間。這一特性大大阻礙了多核學習在實際工程中的應用。本論文針對這個問題,通過預先篩選有益于分類的子核和構造隨機核的方法來加速多核學習的訓練過程。此外,憑借在多核學習研究過程中得到的理論,本論文成功把多核學習應用到高光譜圖像和自然圖像分類中。本論文的工作可以具體概括如下:1.針對多核學習復雜度高的問題,提出了選擇性的多核學習。通過理論分析,發(fā)現(xiàn)多核學習可以看作是集成學習的一種特殊形式。因此,選擇性多核學習使用集成策略預先選擇一些高辨別大差異的子核。為了評估核的辨別能力和差異性,設計了一種新的核評估方法。與經(jīng)典的核評估方法核排列相比,該評估方法能提供量化的結果與更精確的差異性評估。經(jīng)過預先選擇有益于分類的子核,選擇性多核學習節(jié)省了內存,加快了訓練過程。尤其是該方法可以與多核學習L∞范數(shù)約束相結合,從而大大節(jié)省了計算時間和內存。其整個運行代價僅僅相當于運行一次單核學習。通過大量的實驗驗證,該方法比傳統(tǒng)的多核學習方法,速度更快,耗用內存更少,同時獲得了相當或者更高的分類精度。2.針對多核學習中核矩陣構造耗時太長的問題,提出了基于隨機核的多核學習方法。由極限學習機得到啟發(fā),當單影層神經(jīng)網(wǎng)絡中的隱層節(jié)點數(shù)目足夠多,在隱藏節(jié)點權重隨機賦值的情況下,給定一個在任意區(qū)間無限可導的激活函數(shù),Single-hidden Layer Feedforward Neural Network(SLFN)可以無限逼近擬合輸入樣本集。由于激活函數(shù)中的權重可以隨機賦值,ELM是一種無參數(shù)的學習機。論文使用Extreme learning machine(ELM)中的激活函數(shù)為多核學習構造隨機核,減少了待優(yōu)化的子核規(guī)模。尤其是該方法跟上文的選擇性多核學習方法相結合,從而大大加速了多核學習的核構造和訓練時間。并且,通過Rademacher復雜度分析,多核學習的一般性誤差上界隨著子核規(guī)模的減少而降低。因此,本文的方法理論上可以獲得更好的分類結果。通過在多個數(shù)據(jù)庫上驗證,基于隨機核的方法使得多核學習速度更快,占用內存更少,而且擁有相當或者更高的分類精度。3.多核學習應用于高光譜圖像分類識別。針對高光譜圖像維數(shù)過高的問題,提出了一種兩階段多核學習方法來進行維數(shù)約簡。由于多核學習一般性誤差的上確界隨著子核數(shù)目的增加而升高,高光譜圖像中過高的維數(shù)生成了大量的子核。因此,直接使用多核學習對高光譜圖像進行維數(shù)約簡是不合理的。論文設計了一種兩階段的多核學習方法,通過預先構造有益于分類的子核,來降低待優(yōu)化的子核數(shù)目,從而獲得比直接使用多核學習更好的分類結果。在多個高光譜圖像上實驗驗證,對比于經(jīng)典的特征選擇方法,兩階段的多核學習獲得了更佳的分類性能。4.多核學習應用于高光譜圖像不平衡分類識別。當分類任務中存在某些種類樣本數(shù)量過少的時候,傳統(tǒng)的分類方法會因為傾向于把樣本劃分為樣本數(shù)目較多的種類,而不能勝任。為了平衡各個種類的關系,集成學習是一種常用的方法。但是現(xiàn)有的集成方法沒有考慮所選的分類器,因此其所提供的集成策略針對某一具體的分類器而言往往不是最優(yōu)的。因為高光譜圖像的高維小樣本特性,使得支撐矢量機(Support Vector Machine SVM)成為高光譜分類中一個常用的分類器。因為SVM使用maximum margin作為分類準則,所以論文充分考慮了高光譜圖像分類器的特性,借鑒了多核學習的方法,提出了一種基于maximum margin的集成策略。經(jīng)過多個高光譜圖像的實驗驗證,該方法在高光譜圖像分類上,要優(yōu)于傳統(tǒng)的不平衡分類方法。5.多核學習應用于自然圖像分類識別。針對自然圖像分類中的金字塔劃分方法過于單一的問題,提出了一種彈性的金字塔劃分方法。論文不再拘束于金字塔正交四劃分的形式,可以任意地劃分圖像。因此。如何從隨意的劃分方式中選出最佳的一組劃分方式就非常重要了。論文采用第一個工作中的核評估方法來評估不同劃分方式的好壞,然后使用克隆免疫算法搜索出一組最佳的劃分方式。通過在多個自然圖像數(shù)據(jù)庫上實驗比較得出,彈性金字塔方法比傳統(tǒng)的金字塔方法在自然圖像分類識別上具有更大的優(yōu)勢。
【關鍵詞】：多核學習 核評估 高光譜圖像分類 不平衡分類 自然圖像分類
【學位授予單位】：西安電子科技大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP391.41
【目錄】：

• 摘要5-7
• ABSTRACT7-13
• 符號對照表13-15
• 縮略語對照表15-20
• 第一章 緒論20-34
• 1.1 核學習20-21
• 1.2 多核學習的發(fā)展歷史及研究現(xiàn)狀21-24
• 1.2.1 半定規(guī)劃求解多核學習21-22
• 1.2.2 二階錐形規(guī)劃求解多核學習22
• 1.2.3 基于切平面的交替優(yōu)化求解多核學習22-23
• 1.2.4 基于梯度下降的交替優(yōu)化求解多核學習23-24
• 1.2.5 基于解析優(yōu)化的交替優(yōu)化求解多核學習24
• 1.3 高光譜遙感圖像分類24-28
• 1.3.1 高光譜圖像分類難點25-26
• 1.3.2 高光譜圖像維數(shù)約簡研究現(xiàn)狀26-28
• 1.3.3 高光譜圖像不平衡分類研究現(xiàn)狀28
• 1.4 自然圖像分類28-30
• 1.4.1 自然圖像分類的難點28-29
• 1.4.2 自然圖像分類研究現(xiàn)狀29-30
• 1.5 論文的主要內容30-34
• 第二章 選擇性多核學習34-50
• 2.1 引言34
• 2.2 多核學習與集成學習的關系34-36
• 2.3 量化的核評估方法36-41
• 2.3.1 二元核評估37-38
• 2.3.2 核排列與二元核評估的比較38-41
• 2.4 選擇性的多核學習41-43
• 2.4.1 基于聚類的核選擇41-42
• 2.4.2 L∞約束下的選擇性多核學習優(yōu)化42-43
• 2.5 實驗結果與分析43-48
• 2.5.1 實驗設置43
• 2.5.2 UCI數(shù)據(jù)集上的實驗43-46
• 2.5.3 場景圖像集上的實驗46-48
• 2.6 本章小結48-50
• 第三章基于隨機核的多核學習50-64
• 3.1 引言50
• 3.2 基于隨機核的多核學習50-54
• 3.2.1 基于隨機核的多核學習時間復雜度分析50-51
• 3.2.2 隨機核的構造51-53
• 3.2.3 基于隨機核的多核學習理論分析53-54
• 3.3 基于隨機核的選擇性多核學習54-55
• 3.4 實驗結果與分析55-63
• 3.4.1 UCI數(shù)據(jù)集上的實驗55-59
• 3.4.2 模擬雷達圖像庫的實驗59-61
• 3.4.3 胃癌的淋巴結檢測實驗61-63
• 3.5 本章小結63-64
• 第四章基于兩階段多核學習的高光譜降維64-82
• 4.1 引言64-65
• 4.2 多核學習的理論分析65-67
• 4.2.1 L1范數(shù)約束的多核學習一般性誤差分析65-66
• 4.2.2 兩階段多核學習的理論分析66-67
• 4.3 兩階段多核學習67-69
• 4.3.1 兩階段多核學習的第一階段68-69
• 4.3.2 兩階段多核學習的第二階段69
• 4.4 實驗結果與分析69-80
• 4.4.1 實驗設置69-71
• 4.4.2 Salinas圖像實驗71-73
• 4.4.3 Indian Pines圖像實驗73-75
• 4.4.4 Pavia圖像實驗75-77
• 4.4.5 選擇的波段分析77-78
• 4.4.6 多核學習優(yōu)化時間分析78-79
• 4.4.7 參數(shù)分析79-80
• 4.5 本章小結80-82
• 第五章基于多核學習的不平衡高光譜圖像分類82-94
• 5.1 引言82
• 5.2 傳統(tǒng)分類器與經(jīng)典的不平衡分類器82-85
• 5.2.1 傳統(tǒng)分類器與不平衡數(shù)據(jù)82-83
• 5.2.2 經(jīng)典的不平衡分類器83-85
• 5.3 基于多核學習的不平衡分類器85-88
• 5.3.1 選用最大margin準則的理由85-86
• 5.3.2 生成新分類器86-87
• 5.3.3 最大margin的分類器集成87
• 5.3.4 基于多核學習的最大margin分類器求解87-88
• 5.4 實驗結果與分析88-92
• 5.4.1 實驗設置88-90
• 5.4.2 分類結果比較與分析90-91
• 5.4.3 參數(shù)分析91-92
• 5.5 本章小結92-94
• 第六章基于多核學習的自然圖像分類94-114
• 6.1 引言94-96
• 6.2 空間金子塔劃分與多核學習的關系96-97
• 6.3 彈性空間金子塔劃分97-102
• 6.3.1 最大辨別力與差異性準則97-98
• 6.3.2 基于克隆免疫的搜索98-100
• 6.3.3 基于多核學習的權重分配100-102
• 6.4 實驗結果與分析102-112
• 6.4.1 實驗設置102-103
• 6.4.2 Caltech101圖像庫實驗103-108
• 6.4.3 Caltech256圖像庫實驗108-109
• 6.4.4 Oxford flowers圖像庫實驗109-110
• 6.4.5 參數(shù)分析110-112
• 6.5 本章小結112-114
• 第七章 總結與展望114-118
• 參考文獻118-134
• 致謝134-136
• 作者簡介136-138
• 1. 基本情況136
• 2. 教育背景136
• 3. 攻讀博士學位期間的研究成果136-138

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 諶德榮;宮久路;陳乾;曹旭平;;基于樣本分割的快速高光譜圖像異常檢測支持向量數(shù)據(jù)描述方法[J];兵工學報;2008年09期

2 王雷;喬曉艷;董有爾;張姝;尚艷飛;;高光譜圖像技術在農產(chǎn)品檢測中的應用進展[J];應用光學;2009年04期

3 蒲曉豐;雷武虎;張林虎;蔣奇材;;基于Fukunaga-Koontz變換的高光譜圖像異常檢測[J];紅外技術;2010年04期

4 成寶芝;郭宗光;;高光譜圖像波段間相關特性研究[J];大慶師范學院學報;2013年06期

5 王慶國;黃敏;朱啟兵;孫群;;基于高光譜圖像的玉米種子產(chǎn)地與年份鑒別[J];食品與生物技術學報;2014年02期

6 楊龍;易宏杰;李因彥;;遙感高光譜圖像赤潮識別[J];傳感器世界;2007年05期

7 汪倩;陶鵬;;結合空間信息的高光譜圖像快速分類方法[J];微計算機信息;2010年21期

8 王立國;孫杰;肖倩;;結合空-譜信息的高光譜圖像分類方法[J];黑龍江大學自然科學學報;2010年06期

9 馮朝麗;朱啟兵;朱曉;黃敏;;基于光譜特征的玉米品種高光譜圖像識別[J];江南大學學報(自然科學版);2012年02期

10 徐爽;何建國;馬瑜;梁慧琳;劉貴珊;賀曉光;;高光譜圖像技術在水果品質檢測中的研究進展[J];食品研究與開發(fā);2013年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 張兵;王向偉;鄭蘭芬;童慶禧;;高光譜圖像地物分類與識別研究[A];成像光譜技術與應用研討會論文集[C];2004年

2 高連如;張兵;孫旭;李山山;張文娟;;高光譜數(shù)據(jù)降維與分類技術研究[A];第八屆成像光譜技術與應用研討會暨交叉學科論壇文集[C];2010年

3 王成;何偉基;陳錢;;基于波段重組和小波變換的高光譜圖像嵌入式壓縮方法[A];黑龍江、江蘇、山東、河南、江西 五省光學（激光）聯(lián)合學術‘13年會論文（摘要）集[C];2013年

4 孫蕾;羅建書;;基于分類預測的高光譜遙感圖像無損壓縮[A];第一屆建立和諧人機環(huán)境聯(lián)合學術會議（HHME2005）論文集[C];2005年

5 楊勇;劉木華;鄒小蓮;苗蓬勃;趙珍珍;;基于高光譜圖像技術的獼猴桃硬度品質檢測[A];走中國特色農業(yè)機械化道路——中國農業(yè)機械學會2008年學術年會論文集（下冊）[C];2008年

6 張曉紅;張立福;王晉年;童慶禧;;HJ-1A衛(wèi)星高光譜遙感圖像質量綜合評價[A];第八屆成像光譜技術與應用研討會暨交叉學科論壇文集[C];2010年

7 高東生;高連知;;基于獨立分量分析的高光譜圖像目標盲探測方法研究[A];國家安全地球物理叢書（八）——遙感地球物理與國家安全[C];2012年

8 馮維一;陳錢;何偉基;;基于小波稀疏的高光譜目標探測算法[A];黑龍江、江蘇、山東、河南、江西 五省光學（激光）聯(lián)合學術‘13年會論文（摘要）集[C];2013年

9 彭妮娜;易維寧;方勇華;;基于核函數(shù)的高光譜圖像信息提取研究[A];光子科技創(chuàng)新與產(chǎn)業(yè)化——長三角光子科技創(chuàng)新論壇暨2006年安徽博士科技論壇論文集[C];2006年

10 蒲曉豐;雷武虎;黃濤;王迪;;基于穩(wěn)健背景子空間的高光譜圖像異常檢測[A];中國光學學會2010年光學大會論文集[C];2010年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 普晗曄;高光譜遙感圖像的解混理論和方法研究[D];復旦大學;2014年

2 王亮亮;非線性流形結構在高光譜圖像異常檢測中的應用研究[D];國防科學技術大學;2014年

3 賀智;改進的經(jīng)驗模態(tài)分解算法及其在高光譜圖像分類中的應用[D];哈爾濱工業(yè)大學;2014年

4 魏然;基于成像機理分析的高光譜圖像信息恢復研究[D];哈爾濱工業(yè)大學;2015年

5 葉珍;高光譜圖像特征提取與分類算法研究[D];西北工業(yè)大學;2015年

6 馮婕;基于軟計算和互信息理論的遙感圖像地物分類[D];西安電子科技大學;2014年

7 孫濤;快速多核學習分類研究及應用[D];西安電子科技大學;2015年

8 賀霖;高光譜圖像自動目標檢測技術研究[D];西北工業(yè)大學;2007年

9 周爽;蟻群算法在高光譜圖像降維和分類中的應用研究[D];哈爾濱工業(yè)大學;2010年

10 陳雨時;基于光譜特性的高光譜圖像壓縮方法研究[D];哈爾濱工業(yè)大學;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 豐爍;高光譜圖像波段選取問題的改進算法研究[D];昆明理工大學;2015年

2 趙偉彥;果蔬干燥過程中的品質無損檢測技術研究[D];江南大學;2015年

3 馬亞楠;果蔬中內部害蟲的高光譜圖像檢測技術研究[D];江南大學;2015年

4 劉大洋;基于近紅外光譜和高光譜圖像技術無損識別獼猴桃膨大果[D];西北農林科技大學;2015年

5 王坤;高光譜圖像異常目標檢測及光譜成像在偽裝評估方面的應用研究[D];南京理工大學;2015年

6 王啟聰;高光譜圖像分類的GPU并行優(yōu)化研究[D];南京理工大學;2015年

7 程凱;無先驗信息的高光譜圖像小目標檢測算法研究[D];蘇州大學;2015年

8 李秩期;基于高光譜及多信息融合的馬鈴薯外部缺陷無損檢測研究[D];寧夏大學;2015年

9 王健;基于高光譜圖像的馬鈴薯形狀及重量分類識別建模研究[D];寧夏大學;2015年

10 吳蓓芬;偏振高光譜圖像場景仿真及分類方法研究[D];哈爾濱工業(yè)大學;2015年

，

本文編號：1045593