本文選題：遷移學習文本分類 + 選擇性集成��； 參考：《南京航空航天大學》2017年碩士論文

【摘要】：傳統(tǒng)的機器學習是基于統(tǒng)計學的機器學習,其中一個基本的假設條件就是訓練和測試數(shù)據(jù)來自相同的特征空間并且具有相同的概率分布。然而,在很多實際應用中,這種假設往往并不成立,導致傳統(tǒng)的機器學習技術對這種問題的解決失去了效力。近年來,遷移學習(transfer learning)作為一種新的學習典范被用于處理這種挑戰(zhàn)。遷移學習最大的特點就是利用從舊的源領域?qū)W習到的知識幫助一個新的目標領域完成學習任務,使得傳統(tǒng)的從零開始的學習變?yōu)榭梢苑e累的學習。目前學者們已經(jīng)提出很多方法用于解決遷移學習文本分類問題,比如利用支持向量機、人工神經(jīng)網(wǎng)絡等等。盡管研究表明這些方法取得了比較好的分類性能,但是單一模型用于解決遷移學習問題存在著一定的局限性,因此有學者提出使用集成學習解決該問題。然而,集成學習需要多個基模型,這就增加了時間和空間復雜性,同時泛化能力差的基模型也會影響最終的分類效果。在原始集成系統(tǒng)中選擇一個子集用于構建集成系統(tǒng)可以很好的解決這個問題,該方法被稱為集成剪枝,也可以稱為選擇性集成(selective ensemble)。選擇性集成技術可以有效解決集成學習中存在的高計算復雜度的缺點。本文提出了一種新穎的基于知識杠桿的RankRE-TL算法用于解決遷移學習文本分類問題。該算法將基于知識杠桿的遷移學習機制同基于減小錯誤的排序準則RankRE(Rank-based Reduce Error evaluation measure)結合完成遷移任務。RankRE準則的設計原理是選擇一個候選分類器,使得其并入到當前子集成系統(tǒng)后形成新的子集成系統(tǒng)的泛化誤差最小。RankRE-TL算法針對源領域數(shù)據(jù)和目標領域已標注數(shù)據(jù)分布存在一定相似性,但兩域之間已標注數(shù)據(jù)數(shù)量嚴重失衡的問題,提出了一種動態(tài)數(shù)據(jù)重組的方法來解決該問題。通過將大量源數(shù)據(jù)利用Bootstrap技術按不同比例選取多個訓練子集分別與少量的目標域訓練數(shù)據(jù)結合得到多個重構的訓練集,然后分別訓練分類器得到原始集成系統(tǒng)。另外,與傳統(tǒng)的選擇性集成技術構建驗證集的方式不同,RankRE-TL設計了一種新的方法來構造剪枝集。然而基于RankRE評估準則的選擇性集成算法是一種貪婪的算法,容易限于局部最優(yōu)解。為解決該問題,同時為了更有效地遷移源域知識,本文提出了一種融合TrSVM與選擇性集成方法GASEN的遷移算法TrGASVM。其中,TrSVM首先在基于動態(tài)數(shù)據(jù)集重組的基礎上訓練多個源域模型,得到多個支持向量集(SV)。對每個SV集,按照其與目標領域訓練數(shù)據(jù)的相似度分配權重,并和目標域訓練數(shù)據(jù)組合得到新的訓練集,最后在各訓練集上分別訓練模型得到遷移SVM集成系統(tǒng)。GASEN算法是基于組合優(yōu)化的啟發(fā)式算法,利用遺傳算法實現(xiàn)對集成中模型的選擇,不僅具有遺傳算法的優(yōu)點,也可以避免貪婪集成剪枝所具有的局部最優(yōu)問題。TrGASVM融合TrSVM和GASEN用于遷移學習,這樣不僅具有TrSVM算法的優(yōu)點,也結合了GASEN的優(yōu)勢,因此能夠更有效的對源域知識進行遷移。
[Abstract]:Traditional machine learning is based on statistical machine learning , one of the basic assumptions is that training and test data come from the same feature space and have the same probability distribution . However , in many practical applications , this assumption is often not established , which results in the traditional machine learning technology being used to solve the problem . This paper proposes a new method to solve the problem .

【學位授予單位】：南京航空航天大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP181

【參考文獻】

相關期刊論文 前1條

1 張春霞;張講社;;選擇性集成學習算法綜述[J];計算機學報;2011年08期

相關碩士學位論文 前1條

1 王軼初;基于集成學習的半監(jiān)督學習算法研究[D];西安電子科技大學;2011年

，

本文編號：1890978