本文關(guān)鍵詞：基于數(shù)據(jù)驅(qū)動的垃圾郵件檢測技術(shù)研究

  更多相關(guān)文章： 垃圾郵件 Boosting Tree算法 隨機森林 Elastic net-Decision Tree算法

【摘要】：垃圾郵件作為電子郵件的副產(chǎn)品,已經(jīng)給人們生活、工作等多個方面帶來嚴(yán)重的影響。如何有效地檢測出垃圾郵件已經(jīng)成為急需解決的一個難題。因此本文針對常見的垃圾郵件文本檢測進行了深入研究。具體描述如下:(1)提出了基于Boosting Tree算法的垃圾郵件檢測方法。Boosting Tree算法基本原理是以Decision Tree分類算法作為Boosting算法框架中的基分類方法,利用Boosting算法框架對歷史郵件文本(訓(xùn)練集)進行訓(xùn)練以獲得多個不同的訓(xùn)練樣本子集。然后應(yīng)用Decision Tree分類算法對這些樣本子集進行訓(xùn)練生成Decision Tree基分類器,經(jīng)過T輪的訓(xùn)練后產(chǎn)生T個Decision Tree基分類器。再將T個Decision Tree基分類器進行加權(quán)融合成一個最終結(jié)果的分類器。最后利用這個最終結(jié)果的分類器對電子郵件進行檢測分類。傳統(tǒng)貝葉斯算法、Decision Tree算法和Boosting Tree算法的對比結(jié)果充分說明了基于Boosting Tree算法的垃圾郵件分類器的性能明顯優(yōu)于其它。(2)提出了基于隨機森林的垃圾郵件檢測方法。隨機森林以Decision Tree算法為基分類器,通過bagging抽樣方法從訓(xùn)練樣本集中重復(fù)抽取多個訓(xùn)練樣本子集,再對每個訓(xùn)練樣本子集分別進行建立Decision Tree算法數(shù)學(xué)模型,然后根據(jù)分類結(jié)果對每個決策樹進行“投票”,獲得票數(shù)最多的作為最優(yōu)分類樹。隨機森林和Decision Tree算法仿真實驗結(jié)果表明基于隨機森林的垃圾郵件分類器的分類效率大幅度提高。(3)提出了一種新型的Elastic net-Decision Tree兩步垃圾郵件分類算法。該算法彌補了單獨使用一些算法進行特征降維或回歸分析時分類的效果不足的缺陷。第一步運用Elastic Net算法對歷史郵件文本數(shù)據(jù)進行特征降維;第二步將特征降維產(chǎn)生的結(jié)果輸入到Decision Tree算法中進行分類,即篩選出哪些郵件是垃圾郵件,哪些是合法郵件。與PLS、PCA和Lasso算法的仿真結(jié)果相比,Elastic net-Decision Tree兩步分類算法的分類結(jié)果明顯更好。
【學(xué)位授予單位】：華東交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP393.098

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;網(wǎng)絡(luò)暢“郵”——常青藤郵件系統(tǒng)解決方案分析[J];每周電腦報;2000年25期

2 劉杰;商業(yè)化郵件系統(tǒng):企業(yè)信息化第一應(yīng)用[J];互聯(lián)網(wǎng)周刊;2001年30期

3 ;郵件系統(tǒng)應(yīng)用——聚焦企業(yè)級市場[J];微電腦世界;2002年15期

4 ;附加價值——企業(yè)郵件系統(tǒng)的真正目標(biāo)[J];微電腦世界;2002年15期

5 ;擎空霹靂劍——在服務(wù)器端圍剿垃圾郵件[J];微電腦世界;2003年07期

6 馮琳蔚;分布式抗垃圾郵件技術(shù)[J];計算機安全;2004年09期

7 曉齊;啟明星辰推出 天澄防垃圾郵件系統(tǒng)[J];信息網(wǎng)絡(luò)安全;2004年08期

8 郁冰;;大容量郵件系統(tǒng)的動力[J];電子商務(wù)世界;2006年04期

9 王冰睿;;從1小時到幾秒鐘 宜春改造公務(wù)員郵件系統(tǒng)見奇效[J];IT時代周刊;2009年24期

10 李心豐;;大型企業(yè)郵件系統(tǒng)設(shè)計[J];通信管理與技術(shù);2010年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 孟廣平;;分布式郵件系統(tǒng)特點及在寶鋼的應(yīng)用[A];第十一屆全國自動化應(yīng)用技術(shù)學(xué)術(shù)交流會論文集[C];2006年

2 劉華檳;;企業(yè)郵件系統(tǒng)的選型[A];創(chuàng)新·融合·發(fā)展——創(chuàng)新型煤炭企業(yè)發(fā)展與信息化高峰論壇論文集[C];2010年

3 劉陽;楊延新;鄭鐵成;;淺談企業(yè)涉密郵件系統(tǒng)建設(shè)與改造[A];2013年中國航空學(xué)會管理科學(xué)分會學(xué)術(shù)會議論文集[C];2013年

4 吳哲;田捷;李亮;楊鑫;;基于指紋身份認證的安全郵件系統(tǒng)設(shè)計與實現(xiàn)[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

5 李軍輝;朱巧明;錢培德;;郵件語料庫的語料添加算法研究與實現(xiàn)[A];中文信息處理前沿進展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

6 黃斌;;第二代郵件系統(tǒng)[A];經(jīng)濟全球化和中國技術(shù)經(jīng)濟發(fā)展[C];2000年

7 尋曉勁;;郵件系統(tǒng)信息安全[A];2007中國科協(xié)年會——通信與信息發(fā)展高層論壇論文集[C];2007年

8 吳昊;;基于Lucene技術(shù)的郵件取證技術(shù)研究[A];第28次全國計算機安全學(xué)術(shù)交流會論文集[C];2013年

9 代剛;趙小宇;馬嚴(yán);;MailS(?)c智能安全郵件系統(tǒng)設(shè)計[A];全國計算機網(wǎng)絡(luò)應(yīng)用年會論文集（2001）[C];2001年

10 陳良臣;劉淑珍;閆曉飛;孫功星;;基于BERW和IMAP4的移動終端郵件系統(tǒng)的設(shè)計與開發(fā)[A];第13屆全國計算機、網(wǎng)絡(luò)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 潘永花;郵件系統(tǒng)因需求而動[N];網(wǎng)絡(luò)世界;2002年

2 姜姝;企業(yè)郵件系統(tǒng)如何確保安全[N];中國信息化周報;2013年

3 本報記者 陳凡;對付垃圾郵件有新招[N];北京科技報;2004年

4 梁劍坤;垃圾郵件可以消除[N];中國計算機報;2002年

5 本報記者 張超;垃圾郵件：互聯(lián)網(wǎng)的煩惱[N];科技日報;2003年

6 小青;263積極打造郵件運營價值鏈[N];中國經(jīng)營報;2004年

7 特約撰稿 張琦;垃圾郵件成“圣誕禮物”[N];中國電腦教育報;2006年

8 Mirapoint中國區(qū)技術(shù)經(jīng)理 顧春;系統(tǒng)硬件化 構(gòu)建安全郵件系統(tǒng)新趨勢[N];中國計算機報;2006年

9 ;碩琦: 垃圾郵件行為模式分析[N];計算機世界;2006年

10 李玉華;企業(yè)郵件系統(tǒng)大升級[N];計算機世界;2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 李弋;云環(huán)境中典型應(yīng)用的I/O優(yōu)化策略研究[D];復(fù)旦大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉慶雄;基于數(shù)據(jù)驅(qū)動的垃圾郵件檢測技術(shù)研究[D];華東交通大學(xué);2016年

2 宋占鈺;聯(lián)通統(tǒng)一郵件系統(tǒng)改造工程項目分析與設(shè)計[D];哈爾濱工業(yè)大學(xué);2016年

3 萬果鋒;基于郵件系統(tǒng)的社團挖掘研究[D];大連交通大學(xué);2010年

4 金星;大容量郵件系統(tǒng)的設(shè)計和實現(xiàn)[D];電子科技大學(xué);2002年

5 劉建;大容量分布式郵件系統(tǒng)的原理、結(jié)構(gòu)及實現(xiàn)[D];西安電子科技大學(xué);2002年

6 石道生;大容量移動郵件系統(tǒng)的設(shè)計和實現(xiàn)[D];華中科技大學(xué);2004年

7 李應(yīng)開;基于代理重加密的郵件系統(tǒng)的研究與設(shè)計[D];暨南大學(xué);2012年

8 顧大偉;基于代理的敏感郵件監(jiān)控技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

9 江奇峰;辦公郵件系統(tǒng)的設(shè)計與實現(xiàn)[D];華僑大學(xué);2015年

10 傅揚波;郵件客戶服務(wù)原型系統(tǒng)研究與實現(xiàn)[D];電子科技大學(xué);2010年

，

本文編號：1286184