本文選題：垃圾郵件過濾 + 文本分類　； 參考：《重慶大學》2016年碩士論文

【摘要】：電子郵件的興起伴隨著垃圾郵件的產(chǎn)生,隨著互聯(lián)網(wǎng)的普及和發(fā)展,電子郵件成為人們?nèi)粘９ぷ骱蜕钪斜夭豢缮俚慕涣鞣绞?甚至已經(jīng)成為文件和文檔進行快速傳輸?shù)闹髁鬏d體。而垃圾郵件問題卻日益嚴重并越來越深切的影響著人們的工作和生活,垃圾郵件不僅嚴重占用和浪費了網(wǎng)絡(luò)帶寬和計算資源,而且還帶來各種各樣的安全隱患,威脅著人們的信息安全。雖然人們已經(jīng)提出了很多相應(yīng)的解決對策和方法,但是垃圾郵件仍呈現(xiàn)出持續(xù)性的爆炸式增長的趨勢。垃圾郵件的過濾攔截可以通過影響和控制電子郵件傳遞過程中的各個環(huán)節(jié)來實現(xiàn)。本文主要研究通過對電子郵件的正文內(nèi)容進行語義識別來實現(xiàn)垃圾郵件過濾的方法和技術(shù)。垃圾郵件的內(nèi)容和形式不管如何變化,必定會傳達出某種語義信息,以這些語義信息作為垃圾郵件過濾和攔截的基礎(chǔ),會有效提高垃圾郵件攔截的效率和效果。傳統(tǒng)的特征選擇方法大多是基于統(tǒng)計學的,并且總是將文本中的字、詞、短語拆分開來做為單獨的特征項來處理,將文本單純的看作一堆字詞的堆砌,拋棄了不同語法結(jié)構(gòu)、語言環(huán)境、詞匯搭配所表現(xiàn)出的語義信息。本文提出了一種針對中文郵件的基于內(nèi)容的垃圾郵件過濾技術(shù),并在公共語料集TREC06c上進行了實驗,獲得了良好的結(jié)果。本文首先采用了逐層在文本上添加注釋來提取語義信息的方法,然后將提取出的語義信息進行篩選后作為表示文本的特征項來構(gòu)建決策樹并最終生成分類器,實現(xiàn)了文本的識別和分類。這種方法的優(yōu)勢在于既能夠準確表達文本的內(nèi)容含義,又能夠達到科學有效的降維效果。因此,直接選取詞匯作為特征來表示文本,而提取文本的語義信息作為特征項來表示文本,是一種更加科學有效的特征選擇方法。采用語義作為特征項有兩個明顯的優(yōu)勢。一是,對文本內(nèi)容的反映更準確,更有利于實現(xiàn)準確的文本分類;二是,與傳統(tǒng)方法相比,特征項的數(shù)量顯著減少了,運算壓力更小。本文主要研究的第二個問題是在科學有效的篩選出特征項的基礎(chǔ)上,運用決策樹方法來完成垃圾郵件的多分類任務(wù),因為實現(xiàn)垃圾郵件的多分類更加有助于實現(xiàn)郵件過濾和攔截的個性化,注重了用戶隱私。從自然語言處理的方面來看,本文中介紹的這一方法作為一種針對文本內(nèi)容的多分類技術(shù),在自然語言處理中也具有巨大潛力。
[Abstract]:With the popularity and development of the Internet, email has become an indispensable way of communication in people's daily work and life. It has even become the mainstream carrier for fast transmission of files and documents. However, the problem of spam is becoming more and more serious and deeply affects people's work and life. Spam not only occupies and wastes network bandwidth and computing resources seriously, but also brings all kinds of hidden dangers to security. Threatening people's information security. Although people have put forward a lot of corresponding solutions and methods, spam still shows a sustained explosive growth trend. The filtering and blocking of spam can be realized by influencing and controlling each link in the process of e-mail delivery. This paper mainly studies the method and technology of spam filtering by semantic recognition of the text of email. No matter how the content and form of spam changes, it will convey some semantic information. Using these semantic information as the basis of spam filtering and blocking will effectively improve the efficiency and effect of spam blocking. Most of the traditional feature selection methods are based on statistics, and they always separate the words, words and phrases in the text as separate feature items, and treat the text simply as a pile of words, leaving out different grammatical structures. Language environment, lexical collocation shows semantic information. In this paper, a content-based spam filtering technique for Chinese mail is proposed, and the experiment is carried out on TREC06c, a common corpus, and good results are obtained. In this paper, we first use the method of adding annotations to the text layer by layer to extract the semantic information, then filter the extracted semantic information as the feature items to represent the text to construct the decision tree and finally generate the classifier. The text recognition and classification are realized. The advantage of this method is that it can not only accurately express the meaning of the text, but also achieve a scientific and effective dimensionality reduction effect. Therefore, it is a more scientific and effective feature selection method to directly select words as features to represent text, and extract semantic information of text as feature items to represent text. There are two obvious advantages in using semantics as feature items. One is that the text content is more accurately reflected, which is more conducive to the realization of accurate text classification; second, compared with the traditional method, the number of feature items is significantly reduced, and the operation pressure is less. The second problem of this paper is to use the decision tree method to complete the multi-classification of spam on the basis of scientific and effective selection of feature items. Because the multi-classification of spam is more helpful to realize the personalization of email filtering and blocking, it pays more attention to user privacy. From the aspect of natural language processing, this method, as a multi-classification technique for text content, has great potential in natural language processing.
【學位授予單位】：重慶大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.098

【相似文獻】

相關(guān)期刊論文 前10條

1 張羿;周建國;晏蒲柳;;垃圾郵件過濾系統(tǒng)的研究與實現(xiàn)[J];計算機工程;2006年18期

2 徐衛(wèi);;一種垃圾郵件過濾網(wǎng)關(guān)的設(shè)計[J];電腦知識與技術(shù);2006年35期

3 項濤;龔儉;丁偉;;垃圾郵件過濾系統(tǒng)的評估模型研究[J];計算機工程與設(shè)計;2007年18期

4 歐德寧;馬軍;;基于內(nèi)含鏈接特征分析的垃圾郵件過濾技術(shù)[J];鄭州大學學報(理學版);2009年02期

5 金彩琴;裘國永;;對垃圾郵件過濾技術(shù)的問題研究[J];計算機技術(shù)與發(fā)展;2011年09期

6 丁上凌;呂后坤;;垃圾郵件過濾技術(shù)研究[J];漯河職業(yè)技術(shù)學院學報;2012年02期

7 趙文清;一種混合型垃圾郵件過濾系統(tǒng)的研究與設(shè)計[J];山西電子技術(shù);2004年06期

8 陳長偉;劉罡;洪躍楓;;電子垃圾郵件過濾技術(shù)的應(yīng)用[J];辦公自動化;2004年06期

9 劉震,佘X,周明天;基于多級屬性集的垃圾郵件過濾技術(shù)[J];計算機應(yīng)用研究;2005年07期

10 陳治平;王雷;;基于自學習K近鄰的垃圾郵件過濾算法[J];計算機應(yīng)用;2005年S1期

相關(guān)會議論文 前10條

1 李軍;何曉寧;黃成哲;齊浩亮;雷國華;;基于特征貢獻度的垃圾郵件過濾方法[A];第六屆全國信息檢索學術(shù)會議論文集[C];2010年

2 潘文鋒;王斌;譚松波;;貝葉斯垃圾郵件過濾研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年

3 劉紅翼;;一種垃圾郵件過濾器的設(shè)計與實現(xiàn)[A];廣西計算機學會2005年學術(shù)年會論文集[C];2005年

4 張尼;方濱興;;垃圾郵件過濾技術(shù)綜述[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會'2005論文集（下冊）[C];2005年

5 張志斌;施水才;呂學強;;基于貝葉斯方法的中文垃圾郵件過濾技術(shù)綜述[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術(shù)會議論文集[C];2006年

6 周立兵;柳景超;;貝葉斯理論在垃圾郵件過濾中的應(yīng)用分析[A];中國造船工程學會電子技術(shù)學術(shù)委員會2006學術(shù)年會論文集（上冊）[C];2006年

7 張海雷;王會珍;王安慧;朱靖波;;基于樸素貝葉斯模型的垃圾郵件過濾技術(shù)比較分析[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

8 米淑云;辛陽;羅群;;一種新型垃圾郵件過濾系統(tǒng)的設(shè)計和研究[A];2008通信理論與技術(shù)新進展——第十三屆全國青年通信學術(shù)會議論文集（上）[C];2008年

9 岑芳明;王明文;王鵬鳴;戴玉娟;;基于核偏最小二乘分類的垃圾郵件過濾[A];第四屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集（上）[C];2008年

10 牛明珠;;病毒和垃圾郵件過濾技術(shù)淺析[A];二○○九年全國電力企業(yè)信息化大會論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 ;“垃圾郵件過濾系統(tǒng)”幾乎沒有一個完善的[N];新華每日電訊;2003年

2 ;測試垃圾郵件過濾系統(tǒng)[N];網(wǎng)絡(luò)世界;2003年

3 本報記者 高穎;清除網(wǎng)絡(luò)“牛皮癬”勝算幾何？[N];計算機世界;2003年

4 John D. Halamka;IT手段的兩面性[N];計算機世界;2007年

5 ;不止是垃圾郵件過濾[N];網(wǎng)絡(luò)世界;2005年

6 ;2003十大網(wǎng)絡(luò)應(yīng)用電子郵箱[N];中國電腦教育報;2003年

7 本報記者 李建平;Comdex走向?qū)ＷN];計算機世界;2003年

8 張穎;東西方交流不會被“垃圾”阻斷[N];中國經(jīng)營報;2002年

9 ;如何選擇和使用UTM設(shè)備[N];網(wǎng)絡(luò)世界;2009年

10 ;用戶關(guān)心的問題：MSN 8值嗎？[N];計算機世界;2002年

相關(guān)博士學位論文 前5條

1 董建設(shè);協(xié)作式垃圾郵件過濾關(guān)鍵技術(shù)研究[D];蘭州理工大學;2009年

2 惠孛;基于即時分類的垃圾郵件過濾關(guān)鍵技術(shù)的研究[D];電子科技大學;2009年

3 鄧蔚;垃圾郵件過濾中的敵手分類問題研究[D];電子科技大學;2011年

4 孫晶濤;基于內(nèi)容的垃圾郵件過濾技術(shù)研究[D];蘭州理工大學;2010年

5 張澤明;人工免疫算法及其應(yīng)用研究[D];中國科學技術(shù)大學;2007年

相關(guān)碩士學位論文 前10條

1 甘棠儀;基于屬性論方法的垃圾郵件過濾系統(tǒng)設(shè)計與研究[D];上海海事大學;2005年

2 王申;基于內(nèi)容的垃圾郵件過濾技術(shù)的若干研究[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

3 田月霞;基于疫苗機制的垃圾郵件過濾模型的研究[D];鄭州輕工業(yè)學院;2015年

4 鄧曾;遺傳算法和貝葉斯模型在垃圾郵件過濾中的應(yīng)用[D];電子科技大學;2015年

5 徐兆志;基于AAPE分類模型的垃圾郵件過濾技術(shù)的研究與實現(xiàn)[D];電子科技大學;2014年

6 次曲(Tse Qu);基于樸素貝葉斯算法的藏文垃圾郵件過濾關(guān)鍵技術(shù)研究[D];電子科技大學;2013年

7 王浩;基于發(fā)送方異常行為檢測的垃圾郵件過濾系統(tǒng)的研究與實現(xiàn)[D];東北大學;2013年

8 陸元;基于多特征融合的垃圾郵件過濾系統(tǒng)[D];重慶大學;2015年

9 魏如玉;中文垃圾郵件過濾方法的研究[D];遼寧大學;2016年

10 胡瑋;基于語義的垃圾郵件過濾技術(shù)的研究[D];重慶大學;2016年

，

本文編號：2034982