本文關(guān)鍵詞：基于特征遷移與模型遷移的分類器設計　出處：《中國礦業(yè)大學》2017年博士論文　論文類型：學位論文

  更多相關(guān)文章： 特征遷移 模型遷移 遷移學習 分類器 領域 分布差異

【摘要】：互聯(lián)網(wǎng)時代,信息自動分類技術(shù)已經(jīng)成為人類獲取有價值信息的重要工具,也是機器學習、模型識別和數(shù)據(jù)挖掘等領域研究的核心。如何采用機器學習方法構(gòu)建高性能分類器,已成為人工智能領域廣泛研究的問題。然而,隨著問題的深入研究以及應用領域的拓展,傳統(tǒng)機器學習方法逐漸暴露出許多不足。其中,對其影響最大的是:它要求訓練數(shù)據(jù)集與測試數(shù)據(jù)集的樣本概率分布相一致,這一要求在現(xiàn)實應用中通常難以滿足。遷移學習的出現(xiàn)克服了這一不足,它借助一個或者多個與當前任務領域(目標領域)存在分布差異但又有一些內(nèi)部聯(lián)系的相關(guān)領域(源領域)知識,來幫助目標領域分類器進行學習,實現(xiàn)領域間的知識轉(zhuǎn)移,成為了新的研究框架。遷移學習豐富了機器學習理論,拓展了其應用范圍,逐漸成為一個新的研究方向。本文以設計高性能分類器為目的,以遷移學習為研究對象,從構(gòu)建特征遷移分類器與模型遷移分類器兩個角度出發(fā),通過對領域間分布差異度量、半監(jiān)督遷移、柔性投影約束、神經(jīng)網(wǎng)絡模型遷移以及知識遷移與分類器統(tǒng)一優(yōu)化等問題進行研究與探索,提出了7種基于遷移學習的分類器。主要研究內(nèi)容如下:1.基于領域間分布差異度量的特征遷移分類器。首先,針對傳統(tǒng)領域間分布差異度量方法忽略單個樣本對全局度量貢獻差異性而影響特征遷移算法性能的問題,提出兩種算法:基于最大分布加權(quán)均值差異的聯(lián)合分布調(diào)整與基于樣本局部判別權(quán)重的加權(quán)遷移成分分析。它們分別采用白化余弦相似性度量與局部近鄰圓為源領域和目標領域所有樣本設計相應的權(quán)重,將此權(quán)重引入最大均值差異度量中,體現(xiàn)樣本個體在度量中的差異性。在此基礎上,結(jié)合聯(lián)合分布調(diào)整,來縮小領域間的邊緣分布差異與條件分布差異,實現(xiàn)知識的跨領遷移。此外,基于樣本局部判別權(quán)重的加權(quán)遷移成分分析算法還將線性判別分析引入目標函數(shù),在實現(xiàn)知識遷移的同時,提高算法的類別可分性;其次,針對傳統(tǒng)領域間分布差異度量方法存在內(nèi)存消耗大,無法體現(xiàn)樣本間差異性等不足,提出跨領域均值逼近差異度量方法,它通過測量源領域與目標領域樣本到對方領域樣本均值點的距離平方總和,來度量領域間的分布差異。在此基礎上,結(jié)合子空間學習,提出特征遷移算法:跨領域均值聯(lián)合逼近嵌入。它以跨領域均值逼近差異度量作為目標函數(shù),通過標簽迭代精化機制,實現(xiàn)領域間邊緣分布差異和條件分布差異的共同調(diào)整,完成知識的跨領域遷移。最后,將上述特征遷移算法與基準分類器相結(jié)合用于分類實驗,驗證所提算法的有效性和優(yōu)越性。2.基于半監(jiān)督與柔性投影約束的特征遷移分類器。首先,針對傳統(tǒng)特征遷移算法對樣本原始結(jié)構(gòu)信息與標簽信息利用不足的問題,提出算法:基于跨領域均值約束的半監(jiān)督遷移判別分析。它將半監(jiān)督判別分析與聯(lián)合分布調(diào)整相結(jié)合,并引入跨領域均值約束機制,在實現(xiàn)知識遷移的同時,充分利用樣本的原始結(jié)構(gòu)信息與標簽信息,提高算法的分類性能;其次,針對傳統(tǒng)特征遷移算法在特征子空間轉(zhuǎn)換過程中投影過于剛性且對領域間自身幾何結(jié)構(gòu)和標簽信息利用不充分的問題,提出算法:半監(jiān)督柔性聯(lián)合分布調(diào)整。它將柔性投影約束引入聯(lián)合分布調(diào)整中,改善共享特征子空間性能;同時結(jié)合流形對齊與線性判別分析,在知識遷移過程中充分利用數(shù)據(jù)的原始結(jié)構(gòu)信息和標簽信息,來提高算法的分類精度。最后,將上述特征遷移算法與k近鄰分類器相結(jié)合用于分類實驗,驗證算法的有效性和優(yōu)越性。3.基于極限學習機與Softmax回歸的模型遷移分類器。作為一種單層前饋神經(jīng)網(wǎng)絡,極限學習機(ELM)在模式識別與機器學習領域已經(jīng)被證明是一種高效的學習機制。然而,在標記訓練樣本數(shù)量較少的情況下,極限學習機的性能會下降。為此,設計一種具有知識遷移能力的極限學習機:基于輸出權(quán)重對齊的遷移極限學習機,它通過分別對齊源領域與目標領域間的ELM輸出權(quán)重矩陣,來縮小領域間的分布差異;同時,在目標函數(shù)中加入領域間ELM輸出權(quán)重矩陣的逼近項,實現(xiàn)知識的跨領域遷移;最后,將目標函數(shù)轉(zhuǎn)化為最小二乘問題進行求解,并執(zhí)行分類任務;為實現(xiàn)知識遷移過程與分類器訓練過程的統(tǒng)一優(yōu)化,設計一種具有知識遷移能力的分類器:遷移Softmax回歸。它通過將聯(lián)合分布調(diào)整機制引入Softmax回歸目標函數(shù)中,構(gòu)建具有知識遷移能力的分類器;然后采用梯度下降法對新的目標函數(shù)進行求解,實現(xiàn)分類模型參數(shù)與知識遷移過程的統(tǒng)一優(yōu)化;最后,通過分類實驗驗證上述分類器的有效性和優(yōu)越性。
[Abstract]:In this paper , we study and explore a new research frame based on the difference between the weighted mean value of the maximum distribution and the sample probability distribution of the data set . This paper proposes an algorithm based on semi - supervised flexible joint distribution , which combines semi - supervised discriminant analysis with a k - neighbor classifier to improve the classification accuracy of the algorithm .

【學位授予單位】：中國礦業(yè)大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 郭紅玲;程顯毅;;多分類器選擇集成方法[J];計算機工程與應用;2009年13期

2 呂岳,施鵬飛,趙宇明;多分類器組合的投票表決規(guī)則[J];上海交通大學學報;2000年05期

3 韓宏;楊靜宇;;多分類器組合及其應用[J];計算機科學;2000年01期

4 陳剛,戚飛虎;多分類器結(jié)合的人臉識別[J];上海交通大學學報;2001年02期

5 韓宏,楊靜宇,婁震;基于層次的分類器組合[J];南京理工大學學報(自然科學版);2002年01期

6 趙誼虹,程國華,史習智;多分類器融合中一種新的加權(quán)算法[J];上海交通大學學報;2002年06期

7 王正群,葉暉,孫興華,楊靜宇;模糊多分類器組合[J];小型微型計算機系統(tǒng);2003年01期

8 楊利英,覃征,王向華;多分類器融合實現(xiàn)機型識別[J];計算機工程與應用;2004年15期

9 楊利英,覃征,王衛(wèi)紅;多分類器融合系統(tǒng)設計與應用[J];計算機工程;2005年05期

10 陳湘;;1-范數(shù)軟間隔分類器的風險[J];湖北大學學報(自然科學版);2006年02期

相關(guān)會議論文 前10條

1 王占一;徐蔚然;劉東鑫;郭軍;;一種基于兩級分類器的垃圾短信過濾方法[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

2 翟靜;李海宏;唐常杰;陳敏敏;李智;;可驗證對象集分類器的再訓練演進[A];第十九屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2002年

3 陳繼航;劉家鋒;趙巍;唐降龍;;聯(lián)機手寫識別筆段特征分類器的學習方法[A];黑龍江省計算機學會2009年學術(shù)交流年會論文集[C];2010年

4 穆明生;;基于特征集的多種分類器模型的在線筆跡認證[A];第十屆全國信號處理學術(shù)年會（CCSP-2001）論文集[C];2001年

5 彭濤;左萬利;赫楓齡;;基于鏈接上下文的分類器主題爬行技術(shù)(英文)[A];第二十三屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2006年

6 王嵐;陳珂;遲惠生;;基于多特征組合多分類器的方法用于“與文本無關(guān)”的說話人辨認[A];第四屆全國人機語音通訊學術(shù)會議論文集[C];1996年

7 謝秋玲;;應用于心電圖分類的KNN-SVM分類器研究[A];2006中國控制與決策學術(shù)年會論文集[C];2006年

8 胡瓊;汪榮貴;胡韋偉;孫見青;;基于級聯(lián)分類器的快速人臉檢測方法[A];計算機技術(shù)與應用進展·2007——全國第18屆計算機技術(shù)與應用（CACIS）學術(shù)會議論文集[C];2007年

9 李蘭春;王雙成;杜瑞杰;;認知結(jié)構(gòu)評估的動態(tài)貝葉斯網(wǎng)絡分類器方法[A];2011年中國智能自動化學術(shù)會議論文集（第一分冊）[C];2011年

10 邵小健;段華;賀國平;;一種改進的最少核分類器[A];中國運籌學會第七屆學術(shù)交流會論文集（上卷）[C];2004年

相關(guān)重要報紙文章 前10條

1 王素琴邋劉曉林 通訊員 王新華;宇如聰強調(diào)用好16個新數(shù)據(jù)集產(chǎn)品[N];中國氣象報;2008年

2 記者 劉浪 通訊員 廖雅琴;中國首套數(shù)字化“可視人”數(shù)據(jù)集在渝通過成果鑒定[N];重慶日報;2003年

3 通訊員廖雅琴記者馮競;“國人數(shù)字化可視人體數(shù)據(jù)集”完成[N];科技日報;2003年

4 金水高 劉麗華 陶莊;基本數(shù)據(jù)集標準新進展[N];計算機世界;2006年

5 上海 陳純;初識T-SQL，，戀情的開始[N];電腦報;2004年

6 黃明;精子分類器決定生男生女[N];廣東科技報;2000年

7 昌家杰 鄒瑩 本報記者 于莘明;探究“數(shù)字人”的虛與實[N];科技日報;2005年

8 山水;艾斯本與NIST集合數(shù)據(jù)集[N];中國石化報;2007年

9 張紹祥 李國輝;研究領域：以人為本[N];計算機世界;2003年

10 張荔子 秦篤烈;“數(shù)字人”走向應用[N];健康報;2006年

相關(guān)博士學位論文 前10條

1 臧紹飛;基于特征遷移與模型遷移的分類器設計[D];中國礦業(yè)大學;2017年

2 張非;對抗逃避攻擊的防守策略研究[D];華南理工大學;2015年

3 張文博;多類別智能分類器方法研究[D];西安電子科技大學;2014年

4 許勁松;智能交通中目標檢測與分類關(guān)鍵技術(shù)研究[D];南京理工大學;2014年

5 趙作林;基于圖像分析的北京地區(qū)楊樹種類識別研究[D];北京林業(yè)大學;2015年

6 任亞峰;基于標注和未標注數(shù)椐的虛假評論識別研究[D];武漢大學;2015年

7 曹鵬;不均衡數(shù)據(jù)分類方法的研究[D];東北大學;2014年

8 劉明;分類器組合技術(shù)研究及其在人機交互系統(tǒng)中的應用[D];北京交通大學;2008年

9 嚴志永;在劃分數(shù)據(jù)空間的視角下基于決策邊界的分類器研究[D];浙江大學;2011年

10 王U

本文編號：1396119