本文關鍵詞：基于半監(jiān)督的SVM遷移學習文本分類方法，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網的快速發(fā)展,各種信息風靡網絡,而這些網絡信息主要通過文本的形式來表達,因此對文本數據進行合理有效的處理是十分必要的。文本分類是進行信息挖掘的一種重要數據分析方法,它能夠從數據中挖掘關鍵信息并構建模型,使計算機從過去的數據中獲取知識,解決問題。傳統(tǒng)的文本分類方法在要求有充足標注數據訓練模型的同時還要求訓練數據與測試數據屬于同一分布。支持向量機(SVM)作為常用文本分類方法之一,特別適合處理像文本這樣的數據集較大的分類問題。然而,SVM在處理分類問題時也常會因為訓練樣本不充分而無法學習到高精度的分類模型。近年來,在SVM算法中引入半監(jiān)督學習模式,利用大量未標注數據與少量標注數據共同訓練分類器,在一定程度上解決了訓練數據不充分的問題,但半監(jiān)督學習仍需滿足訓練數據與測試數據同分布假設。遷移學習是最近興起的一種有效解決上述問題的學習方式,其可以利用相似領域中大量標注數據來幫助新領域目標任務的學習。于是在SVM中引入遷移學習,在提供大量標注數據的同時還放寬了對數據分布的要求。本文通過結合遷移學習和半監(jiān)督學習來研究文本分類問題,主要研究內容如下：(1)針對傳統(tǒng)有監(jiān)督SVM文本分類方法的不足,詳細描述了半監(jiān)督式的自訓練SVM分類方法,包括其基本思想、具體流程以及存在的缺陷。(2)針對以往SVM遷移學習方法在訓練過程中大量遷移與目標數據很不相似的源領域數據的問題,提出了一種利用源域支持向量進行相似遷移的方法。該方法先利用源領域訓練得到的支持向量代表源領域數據,再利用源域支持向量與目標訓練集的相似度來衡量源域數據的重要性,進而有效的對源領域知識進行遷移。(3)考慮到未標注數據可能包含有對分類起重要作用的信息,提出了結合目標領域未標注數據共同學習分類模型的基于半監(jiān)督的SVM遷移學習分類方法。該方法以SVM遷移模型為基礎分類器,給未標注數據帶上初始標簽并共同學習分類模型,進一步提高了分類器性能。將本文提出的SVM遷移學習方法以及基于半監(jiān)督的SVM遷移學習方法與傳統(tǒng)的SVM方法在20Newsgroups數據集上進行實驗對比,證明了本文提出方法的有效性。然后與傳統(tǒng)的文本分類方法進行比較,證明了本文方法的可行性與優(yōu)越性。
【關鍵詞】：遷移學習 半監(jiān)督學習 SVM 文本分類
【學位授予單位】：廣東工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP391.1
【目錄】：

• 摘要4-6
• ABSTRACT6-14
• 第一章 緒論14-20
• 1.1 研究背景與意義14-15
• 1.2 國內外研究現(xiàn)狀15-18
• 1.2.1 文本分類研究現(xiàn)狀15-16
• 1.2.2 半監(jiān)督學習研究現(xiàn)狀16
• 1.2.3 遷移學習研究現(xiàn)狀16-18
• 1.3 本文主要研究內容18-19
• 1.4 論文組織結構19-20
• 第二章 相關理論20-36
• 2.1 文本分類概述20
• 2.2 文本分類流程20-32
• 2.2.1 文本預處理21-23
• 2.2.2 分類算法23-31
• 2.2.3 評估標準31-32
• 2.3 遷移學習32-35
• 2.3.1 遷移學習概述32
• 2.3.2 遷移學習類型32-34
• 2.3.3 與傳統(tǒng)機器學習的比較34-35
• 2.3.4 遷移學習的應用35
• 2.4 本章小結35-36
• 第三章 基于半監(jiān)督的SVM分類算法36-41
• 3.1 半監(jiān)督學習概述36
• 3.2 自訓練分類算法36-38
• 3.3 STSVM算法描述38-40
• 3.3.1 SVM分類應用半監(jiān)督學習的意義38
• 3.3.2 算法具體描述38-40
• 3.4 本章小結40-41
• 第四章 基于半監(jiān)督的SVM遷移學習文本分類算法41-53
• 4.1 SVM分類運用遷移學習的意義41
• 4.2 Transfer-SVM算法描述41-48
• 4.2.1 算法問題描述41-42
• 4.2.2 算法核心思想42-46
• 4.2.3 目標函數構造46-48
• 4.2.4 算法具體描述48
• 4.2.5 算法預期48
• 4.3 Transfer-STSVM算法描述48-52
• 4.3.1 算法核心思想48-50
• 4.3.2 目標函數構造50-51
• 4.3.3 算法具體描述51-52
• 4.3.4 算法預期52
• 4.4 本章小結52-53
• 第五章 算法測試與分析53-62
• 5.1 實驗準備53-57
• 5.1.1 實驗環(huán)境53
• 5.1.2 數據集說明53-56
• 5.1.3 數據預處理56-57
• 5.2 實驗設置57
• 5.3 算法測試與分析57-61
• 5.4 算法效率61
• 5.5 本章小結61-62
• 總結與展望62-64
• 參考文獻64-68
• 攻讀學位期間發(fā)表論文68-70
• 致謝70

【參考文獻】

中國期刊全文數據庫 前4條

1 張博;史忠植;趙曉非;張建華;;一種基于跨領域典型相關性分析的遷移學習方法[J];計算機學報;2015年07期

2 莊福振;羅平;何清;史忠植;;遷移學習研究進展[J];軟件學報;2015年01期

3 鄭世卓;崔曉燕;;基于半監(jiān)督LDA的文本分類應用研究[J];軟件;2014年01期

4 許敏;王士同;顧鑫;;TL-SVM:一種遷移學習算法[J];控制與決策;2014年01期

  本文關鍵詞：基于半監(jiān)督的SVM遷移學習文本分類方法，由筆耕文化傳播整理發(fā)布。

，

本文編號：390230