基于多特征融合的垃圾郵件過濾系統(tǒng)
本文關(guān)鍵詞:基于多特征融合的垃圾郵件過濾系統(tǒng),,由筆耕文化傳播整理發(fā)布。
【摘要】:隨著互聯(lián)網(wǎng)的普及,郵件服務(wù)也隨之普及,但是隨之而來的垃圾郵件也日益增多,尤其是近年來圖片型垃圾郵件的泛濫成災(zāi),給我們的帶來諸多不便。因此,如何有效快速的過濾垃圾郵件,尤其是圖片型垃圾郵件已成為互聯(lián)網(wǎng)領(lǐng)域一個亟待解決的問題。本文在現(xiàn)有的成熟的文本垃圾郵件過濾的基礎(chǔ)上,重點研究并實現(xiàn)了對圖片型垃圾郵件的過濾。提出了基于多特征融合的組合過濾器的設(shè)計與實現(xiàn),通過對垃圾郵件圖片進行多個特征提取,然后使用各個特征分別訓練出多個單特征圖片過濾器,然后組合多個單特征過濾器構(gòu)成組合的多特征過濾器,從而達到過濾效果的最優(yōu)化并方便后期新特征的添加與原有特征的刪除。本文同時結(jié)合業(yè)已成熟的文本過濾技術(shù),也對圖片型垃圾郵件中的文本進行了過濾。本文的主要工作如下:1.首先介紹了垃圾郵件的產(chǎn)生背景,給新出現(xiàn)的圖片型垃圾郵件做了一個定義,分析其影響及檢測它們的難點。2.分析常用的垃圾郵件過濾技術(shù)與常用的垃圾郵件分類算法,重點討論了SVM與貝葉斯分類算法的理論與應(yīng)用,并分析它們其各自的優(yōu)缺點與適用范圍。3.分析了現(xiàn)有的垃圾郵件圖片與非垃圾郵件圖片的在顏色特征、紋理特征、形狀特征等方面的區(qū)別,提出了由各個單獨的特征進行訓練,得到單特征過濾器,然后由各個單特征過濾器組合而成構(gòu)成融合的多特征過濾器的垃圾郵件過濾方式。4.簡單實現(xiàn)一個基于樸素貝葉斯的中文文本分類器,主要用于對垃圾郵件中包含的文本部分進行過濾。5.設(shè)計并實現(xiàn)多個單特征垃圾郵件圖片過濾器,然后融合多個垃圾郵件單特征過濾器,構(gòu)成一個基于多特征融合的組合垃圾郵件圖片過濾器。6.實現(xiàn)一個簡單的郵件接收客戶端,集成已實現(xiàn)的文本過濾器和圖片過濾器,簡單演示圖片的過濾。7.詳細測試了各個單特征圖片過濾器、組合圖片過濾器、文本過濾器等。
【關(guān)鍵詞】:文本過濾 中文分詞 圖片過濾 特征提取
【學位授予單位】:重慶大學
【學位級別】:碩士
【學位授予年份】:2015
【分類號】:TP393.098
【目錄】:
- 中文摘要3-4
- 英文摘要4-9
- 1 緒論9-11
- 1.1 研究背景9
- 1.2 研究目的與意義9-10
- 1.3 本文的主要工作10
- 1.4 論文的組織安排10
- 1.5 本章小結(jié)10-11
- 2 垃圾郵件過濾相關(guān)技術(shù)11-20
- 2.1 垃圾郵件簡介11-12
- 2.1.1 產(chǎn)生背景11
- 2.1.2 郵箱獲取方法11
- 2.1.3 垃圾郵件定義11
- 2.1.4 垃圾郵件的影響11-12
- 2.2 圖片型垃圾郵件簡介12-14
- 2.2.1 圖片型垃圾郵件的定義12
- 2.2.2 圖片型垃圾郵件特點12-13
- 2.2.3 圖片型垃圾郵件檢測難點13-14
- 2.3 常用垃圾郵件基本過濾方法14-15
- 2.3.1 黑名單過濾技術(shù)14
- 2.3.2 基于行為的郵件過濾技術(shù)14
- 2.3.3 基于規(guī)則的郵件過濾技術(shù)14
- 2.3.4 基于統(tǒng)計的郵件過濾14-15
- 2.4 圖片型垃圾郵件過濾方法15
- 2.4.1 基于圖片元數(shù)據(jù)特征的過濾方法15
- 2.4.2 光學字符識別(OCR)技術(shù)15
- 2.4.3 基于圖像內(nèi)容分析的過濾技術(shù)15
- 2.5 常用垃圾郵件過濾算法15-19
- 2.5.1 貝葉斯算法16-17
- 2.5.2 支持向量機算法17-19
- 2.6 本章小結(jié)19-20
- 3 基于多特征融合的垃圾郵件過濾系統(tǒng)分析20-32
- 3.1 郵件相關(guān)技術(shù)20
- 3.1.1 RFC82220
- 3.1.2 MIME20
- 3.2 業(yè)務(wù)流程分析20-26
- 3.2.1 文本過濾器分析21-22
- 3.2.2 圖片過濾器分析22-24
- 3.2.3 文本過濾預(yù)處理24-25
- 3.2.4 文本特征篩選25-26
- 3.3 圖片過濾預(yù)處理26-31
- 3.3.1 元數(shù)據(jù)特征分析26-27
- 3.3.2 文本特征分析27-29
- 3.3.3 視覺特征分析29-31
- 3.3.4 噪音特征分析31
- 3.5 本章小結(jié)31-32
- 4 基于多特征融合的垃圾郵件過濾系統(tǒng)設(shè)計與實現(xiàn)32-46
- 4.1 總體設(shè)計32-33
- 4.1.1 設(shè)計目標32
- 4.1.2 系統(tǒng)結(jié)構(gòu)32-33
- 4.2 開發(fā)工具簡述33-34
- 4.2.1 OpenCV簡述34
- 4.2.2 JavaMail簡述34
- 4.2.3 Window Builder簡述34
- 4.3 圖片過濾詳細設(shè)計與實現(xiàn)34-38
- 4.3.1 單特征圖片過濾器模塊設(shè)計34-35
- 4.3.2 單特征圖片過濾器流程設(shè)計35-36
- 4.3.3 單特征圖片分類算法的選擇及實現(xiàn)36-37
- 4.3.4 組合圖片過濾器37
- 4.3.5 元數(shù)據(jù)特征過濾器37
- 4.3.6 平均RGB過濾器37
- 4.3.7 顏色直方圖過濾器37-38
- 4.3.8 幾何矩(Hu矩)過濾器38
- 4.3.9 邊緣方向直方圖過濾器38
- 4.3.10 結(jié)果匯總38
- 4.4 文本過濾器的設(shè)計與實現(xiàn)38-41
- 4.4.1 文本過濾器的設(shè)計39
- 4.4.2 分詞模塊的設(shè)計與實現(xiàn)39-40
- 4.4.3 分詞篩選模塊設(shè)計與實現(xiàn)40-41
- 4.4.4 判斷模塊41
- 4.5 簡單界面展示41-45
- 4.6 本章小結(jié)45-46
- 5 測試與分析46-51
- 5.1 算法性能評測標準46-47
- 5.2 圖片過濾器測試47-48
- 5.2.1 垃圾郵件圖片語料庫47
- 5.2.2 圖片過濾器測評47-48
- 5.3 文本過濾器測試48-49
- 5.3.1 文本語料庫48
- 5.3.2 文本過濾器測評48-49
- 5.4 綜合測試49
- 5.4.1 綜合測試語料庫49
- 5.4.2 綜合測評結(jié)果49
- 5.5 總結(jié)49-50
- 5.6 本章小結(jié)50-51
- 致謝51-52
- 參考文獻52-54
【相似文獻】
中國期刊全文數(shù)據(jù)庫 前10條
1 張羿;周建國;晏蒲柳;;垃圾郵件過濾系統(tǒng)的研究與實現(xiàn)[J];計算機工程;2006年18期
2 徐衛(wèi);;一種垃圾郵件過濾網(wǎng)關(guān)的設(shè)計[J];電腦知識與技術(shù);2006年35期
3 項濤;龔儉;丁偉;;垃圾郵件過濾系統(tǒng)的評估模型研究[J];計算機工程與設(shè)計;2007年18期
4 歐德寧;馬軍;;基于內(nèi)含鏈接特征分析的垃圾郵件過濾技術(shù)[J];鄭州大學學報(理學版);2009年02期
5 金彩琴;裘國永;;對垃圾郵件過濾技術(shù)的問題研究[J];計算機技術(shù)與發(fā)展;2011年09期
6 丁上凌;呂后坤;;垃圾郵件過濾技術(shù)研究[J];漯河職業(yè)技術(shù)學院學報;2012年02期
7 趙文清;一種混合型垃圾郵件過濾系統(tǒng)的研究與設(shè)計[J];山西電子技術(shù);2004年06期
8 陳長偉;劉罡;洪躍楓;;電子垃圾郵件過濾技術(shù)的應(yīng)用[J];辦公自動化;2004年06期
9 劉震,佘X,周明天;基于多級屬性集的垃圾郵件過濾技術(shù)[J];計算機應(yīng)用研究;2005年07期
10 陳治平;王雷;;基于自學習K近鄰的垃圾郵件過濾算法[J];計算機應(yīng)用;2005年S1期
中國重要會議論文全文數(shù)據(jù)庫 前10條
1 李軍;何曉寧;黃成哲;齊浩亮;雷國華;;基于特征貢獻度的垃圾郵件過濾方法[A];第六屆全國信息檢索學術(shù)會議論文集[C];2010年
2 潘文鋒;王斌;譚松波;;貝葉斯垃圾郵件過濾研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年
3 劉紅翼;;一種垃圾郵件過濾器的設(shè)計與實現(xiàn)[A];廣西計算機學會2005年學術(shù)年會論文集[C];2005年
4 張尼;方濱興;;垃圾郵件過濾技術(shù)綜述[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會'2005論文集(下冊)[C];2005年
5 張志斌;施水才;呂學強;;基于貝葉斯方法的中文垃圾郵件過濾技術(shù)綜述[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術(shù)會議論文集[C];2006年
6 周立兵;柳景超;;貝葉斯理論在垃圾郵件過濾中的應(yīng)用分析[A];中國造船工程學會電子技術(shù)學術(shù)委員會2006學術(shù)年會論文集(上冊)[C];2006年
7 張海雷;王會珍;王安慧;朱靖波;;基于樸素貝葉斯模型的垃圾郵件過濾技術(shù)比較分析[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集(下冊)[C];2007年
8 米淑云;辛陽;羅群;;一種新型垃圾郵件過濾系統(tǒng)的設(shè)計和研究[A];2008通信理論與技術(shù)新進展——第十三屆全國青年通信學術(shù)會議論文集(上)[C];2008年
9 岑芳明;王明文;王鵬鳴;戴玉娟;;基于核偏最小二乘分類的垃圾郵件過濾[A];第四屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集(上)[C];2008年
10 牛明珠;;病毒和垃圾郵件過濾技術(shù)淺析[A];二○○九年全國電力企業(yè)信息化大會論文集[C];2009年
中國重要報紙全文數(shù)據(jù)庫 前10條
1 ;“垃圾郵件過濾系統(tǒng)”幾乎沒有一個完善的[N];新華每日電訊;2003年
2 ;測試垃圾郵件過濾系統(tǒng)[N];網(wǎng)絡(luò)世界;2003年
3 本報記者 高穎;清除網(wǎng)絡(luò)“牛皮癬”勝算幾何?[N];計算機世界;2003年
4 John D. Halamka;IT手段的兩面性[N];計算機世界;2007年
5 ;不止是垃圾郵件過濾[N];網(wǎng)絡(luò)世界;2005年
6 ;2003十大網(wǎng)絡(luò)應(yīng)用電子郵箱[N];中國電腦教育報;2003年
7 本報記者 李建平;Comdex走向?qū)WN];計算機世界;2003年
8 張穎;東西方交流不會被“垃圾”阻斷[N];中國經(jīng)營報;2002年
9 ;如何選擇和使用UTM設(shè)備[N];網(wǎng)絡(luò)世界;2009年
10 ;用戶關(guān)心的問題:MSN 8值嗎?[N];計算機世界;2002年
中國博士學位論文全文數(shù)據(jù)庫 前5條
1 董建設(shè);協(xié)作式垃圾郵件過濾關(guān)鍵技術(shù)研究[D];蘭州理工大學;2009年
2 惠孛;基于即時分類的垃圾郵件過濾關(guān)鍵技術(shù)的研究[D];電子科技大學;2009年
3 鄧蔚;垃圾郵件過濾中的敵手分類問題研究[D];電子科技大學;2011年
4 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學;2010年
5 張澤明;人工免疫算法及其應(yīng)用研究[D];中國科學技術(shù)大學;2007年
中國碩士學位論文全文數(shù)據(jù)庫 前10條
1 甘棠儀;基于屬性論方法的垃圾郵件過濾系統(tǒng)設(shè)計與研究[D];上海海事大學;2005年
2 王申;基于內(nèi)容的垃圾郵件過濾技術(shù)的若干研究[D];中國科學院研究生院(計算技術(shù)研究所);2005年
3 田月霞;基于疫苗機制的垃圾郵件過濾模型的研究[D];鄭州輕工業(yè)學院;2015年
4 鄧曾;遺傳算法和貝葉斯模型在垃圾郵件過濾中的應(yīng)用[D];電子科技大學;2015年
5 徐兆志;基于AAPE分類模型的垃圾郵件過濾技術(shù)的研究與實現(xiàn)[D];電子科技大學;2014年
6 次曲(Tse Qu);基于樸素貝葉斯算法的藏文垃圾郵件過濾關(guān)鍵技術(shù)研究[D];電子科技大學;2013年
7 王浩;基于發(fā)送方異常行為檢測的垃圾郵件過濾系統(tǒng)的研究與實現(xiàn)[D];東北大學;2013年
8 陸元;基于多特征融合的垃圾郵件過濾系統(tǒng)[D];重慶大學;2015年
9 許建明;基于內(nèi)容挖掘的中文垃圾郵件過濾技術(shù)研究與實現(xiàn)[D];湖南大學;2008年
10 鄭梅;基于規(guī)則的垃圾郵件過濾系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2008年
本文關(guān)鍵詞:基于多特征融合的垃圾郵件過濾系統(tǒng),由筆耕文化傳播整理發(fā)布。
本文編號:361238
本文鏈接:http://www.sikaile.net/guanlilunwen/ydhl/361238.html