【摘要】：近年來,隨著互聯(lián)網(wǎng)的迅速發(fā)展以及網(wǎng)絡(luò)業(yè)務(wù)的不斷擴(kuò)大,互聯(lián)網(wǎng)的網(wǎng)頁規(guī)模呈現(xiàn)“基數(shù)大、增長快、更新頻繁”的發(fā)展趨勢。以中國為例,如《中國互聯(lián)網(wǎng)站發(fā)展?fàn)顩r及其安全報告(2015)》指出,截至2014年12月底,中國網(wǎng)站總量達(dá)到364.7萬余個,同比年度增長約14.1萬個,為中國網(wǎng)站提供互聯(lián)網(wǎng)接入服務(wù)的接入服務(wù)商1,068家,同比年度凈增長86家。隨著網(wǎng)站數(shù)量及網(wǎng)頁規(guī)模不斷擴(kuò)大,互聯(lián)網(wǎng)服務(wù)逐步滲透到人們?nèi)粘Ｉ畹姆椒矫婷�。豐富的互聯(lián)網(wǎng)服務(wù)一方面極大改善了人們的日常生活；另一方面,也給一些網(wǎng)絡(luò)攻擊行為(包括釣魚網(wǎng)頁、網(wǎng)頁木馬等)提供了廣闊的發(fā)展空間。這些網(wǎng)絡(luò)攻擊行為常常圍繞網(wǎng)頁展開,或者設(shè)計陷阱或者挖掘漏洞,利用各種攻擊技術(shù)對人們的網(wǎng)絡(luò)安全構(gòu)成嚴(yán)重威脅。以URL為例,卡巴斯基的統(tǒng)計數(shù)據(jù)顯示,僅2012年,惡意URL共出現(xiàn)1.39億次,并在當(dāng)年87.39%的網(wǎng)絡(luò)攻擊中扮演重要角色。當(dāng)前,隨著互聯(lián)網(wǎng)的蓬勃發(fā)展,網(wǎng)絡(luò)攻擊不斷增多,惡意URL規(guī)模持續(xù)擴(kuò)大,網(wǎng)絡(luò)安全形勢日益嚴(yán)峻。作為抵御網(wǎng)絡(luò)攻擊的核心安全技術(shù)之一,URL實時分類技術(shù)可以幫助人們避免惡意網(wǎng)頁引起的安全威脅,有效保障個人隱私安全及網(wǎng)絡(luò)交易安全,進(jìn)而提升網(wǎng)絡(luò)安全。為此,研究人員已經(jīng)提出了很多方法和技術(shù)。但在URL規(guī)模持續(xù)擴(kuò)大的今天,抵御網(wǎng)絡(luò)攻擊依舊面臨著許多新的挑戰(zhàn)：如URL資源眾多、URL數(shù)據(jù)集不均勻、惡意URL逃逸技術(shù)升級等。在這些挑戰(zhàn)面前,傳統(tǒng)方法暴露出如準(zhǔn)確率不高、內(nèi)存占用過高等缺陷。為了避免這些缺陷,應(yīng)該對新的URL實時分類技術(shù)開展研究,通過實現(xiàn)高效、可靠、準(zhǔn)確的防御模式,從根本上防止惡意URL所帶來的安全威脅。本文以URL實時分類為貫穿主線,從不同維度出發(fā)考察了URL實時分類技術(shù)的最新研究成果,并在此基礎(chǔ)上根據(jù)實際需要進(jìn)行進(jìn)一步的拓展,提出了非人為訪問過濾技術(shù)、惡意URL識別技術(shù)、潛在惡意URL發(fā)現(xiàn)技術(shù)等。依據(jù)這些技術(shù)理論,本文構(gòu)建了面向大規(guī)模流量的URL實時分類框架。通過詳細(xì)、具體的實驗以及豐富的開源數(shù)據(jù)分析,本文對所提出的研究成果及相應(yīng)的技術(shù)方案進(jìn)行實驗驗證,并取得了較好的實際效果。本文的主要貢獻(xiàn)與創(chuàng)新點(diǎn)總結(jié)如下：1)提出了大規(guī)模的URL實時分類框架。針對當(dāng)前實時分類框架中可能存在的潛在問題,結(jié)合網(wǎng)關(guān)流量的特點(diǎn),綜合使用多種技術(shù)對網(wǎng)關(guān)位置的流量進(jìn)行細(xì)致的分析和分類,并在此基礎(chǔ)上提出了離線分析和在線分類相結(jié)合的異步協(xié)同架構(gòu)。該分類框架能夠有效地提升網(wǎng)頁流量的分類效率,并支持多級分類和精細(xì)化分類等業(yè)務(wù)需求。通過長時間的網(wǎng)絡(luò)運(yùn)行測試,驗證了該分類框架在實際應(yīng)用場景中具有較高的運(yùn)行效率及較穩(wěn)定的分類性能,同時表明該分類框架不僅在理論上有所貢獻(xiàn),而且體現(xiàn)出一定程度的實用價值。2)研究了高頻非人為點(diǎn)擊的識別與過濾技術(shù)。提出了基于啟發(fā)式規(guī)則的過濾方法EPLogCleaner。EPLogCleaner針對的是網(wǎng)關(guān)流量中高頻非人為點(diǎn)擊的過濾問題,利用網(wǎng)關(guān)流量中高頻非人為點(diǎn)擊在時間上呈現(xiàn)出的周期性,結(jié)合傳統(tǒng)相似性度量方法進(jìn)行分析,從而總結(jié)過濾規(guī)則,用于高頻非人為點(diǎn)擊的過濾。實驗結(jié)果表明,相比于傳統(tǒng)的數(shù)據(jù)清洗方法,EPLogCleaner可以多過濾30%的URL,并保證過濾準(zhǔn)確率不低于90%。3)研究了輕量級的可疑URL識別技術(shù)。提出一種簡單高效的有限特征集構(gòu)造方法LDB(Limited Dictionary Builder)對特征進(jìn)行篩選,從而限制特征集規(guī)模。該方法首先對每個詞特征給出一個時間復(fù)雜度為O(1)的評價方法計算其預(yù)測能力,然后在線性時間內(nèi)對特征進(jìn)行篩選。實驗結(jié)果顯示,相比于傳統(tǒng)的惡意URL檢測方法BeyondBlacklist和BigData2013,在準(zhǔn)確率基本保持不變的情況下,LDB方法能夠?qū)⑻卣骷?guī)�？s減為傳統(tǒng)方法的8.3%。在實驗環(huán)境中,該方法能夠達(dá)到每秒20,000個URL的處理速率。4)研究了隱身釣魚URL的識別技術(shù)。提出了一種輕量級的隱身釣魚URL識別方法CPRM (Cloaked Phishing Recognition Model)。通過觀察和分析部分隱身釣魚URL的算法生成過程,進(jìn)而引入新的輕量級特征,并把它們用在釣魚URL的識別檢測中。實驗結(jié)果顯示,CPRM方法能夠有效提升釣魚URL識別的準(zhǔn)確率(提高了2.74%)和召回率(提高了1.25%)。此外,CPRM方法只依賴于輕量級特征,能夠保證URL的處理速率基本不變,適用于大規(guī)模網(wǎng)頁環(huán)境。5)研究了惡意URL推斷技術(shù)。首次將訪問關(guān)系引入惡意URL識別問題,提出了惡意URL推斷方法GuidedTracker,解決了惡意URL濃度低的問題。實驗結(jié)果表明：相比于傳統(tǒng)檢測方法,GuidedTracker可以有效提升惡意URL濃度(從1.06%提升至1.94%),并縮短33.89%的檢測運(yùn)行時間。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP393.06

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ycx;對付惡意網(wǎng)頁三法[J];中國電子與網(wǎng)絡(luò)出版;2003年11期

2 張福增,趙永升,孔繁蕓,宋麗華;惡意網(wǎng)頁的剖析與對策[J];福建電腦;2004年07期

3 ;追擊連環(huán)惡意網(wǎng)頁病毒[J];計算機(jī)與網(wǎng)絡(luò);2004年09期

4 李強(qiáng) ,昊蟲蟲;清除惡意網(wǎng)頁病毒又兩招[J];電腦愛好者;2004年20期

5 韓豐海;查看惡意網(wǎng)頁有妙招[J];電腦應(yīng)用文萃;2005年09期

6 楊光;;刪除惡意網(wǎng)頁對系統(tǒng)修改的幾個方法[J];計算機(jī)與網(wǎng)絡(luò);2014年08期

7 徐海斌;;走出惡意網(wǎng)頁的陷阱[J];電腦應(yīng)用文萃;2001年12期

8 風(fēng)日;;惡意網(wǎng)頁七宗罪[J];電腦采購周刊;2002年27期

9 網(wǎng)鳥;惡意網(wǎng)頁我不怕[J];電腦知識與技術(shù);2003年30期

10 吳剛;瀏覽器被惡意網(wǎng)頁修改的解決辦法[J];陜西氣象;2003年04期

相關(guān)會議論文 前2條

1 杜振華;張健;馬勇;張鑫;蘇圣魁;;一種惡意網(wǎng)頁檢測系統(tǒng)的研究與設(shè)計[A];全國計算機(jī)安全學(xué)術(shù)交流會論文集（第二十三卷）[C];2008年

2 唐雅茜;朱海波;黎玲;;破解惡意網(wǎng)頁十大招[A];2008年廣西氣象學(xué)會學(xué)術(shù)年會論文集[C];2008年

相關(guān)重要報紙文章 前10條

1 cdrom;惡意網(wǎng)頁幾時休[N];中國電腦教育報;2002年

2 徐海斌;惡意網(wǎng)頁我們這樣對付它[N];中國電腦教育報;2002年

3 ;“極限女孩”惡意網(wǎng)頁病毒[N];中國財經(jīng)報;2002年

4 ;對付惡意網(wǎng)頁[N];中國電腦教育報;2003年

5 王書杰;追擊連環(huán)惡意網(wǎng)頁病毒[N];中國電腦教育報;2004年

6 徐海斌;以牙還牙 巧治惡意網(wǎng)頁病毒[N];中國電腦教育報;2002年

7 邊歆;惡意網(wǎng)頁每天增加5000個[N];網(wǎng)絡(luò)世界;2008年

8 ;全球黑客每周創(chuàng)建5.7萬個惡意網(wǎng)頁[N];網(wǎng)絡(luò)世界;2010年

9 謝曉丹;惡意網(wǎng)頁竟藏104個木馬程序[N];中國計算機(jī)報;2007年

10 王紹清;和惡意網(wǎng)頁代碼拜拜[N];中國電腦教育報;2002年

相關(guān)博士學(xué)位論文 前1條

1 沙泓州;面向大規(guī)模網(wǎng)絡(luò)流量的URL實時分類關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 王維光;基于分類算法的惡意網(wǎng)頁檢測技術(shù)研究[D];北京郵電大學(xué);2015年

2 文凱;惡意網(wǎng)頁檢測系統(tǒng)設(shè)計及在云架構(gòu)中的應(yīng)用[D];中南林業(yè)科技大學(xué);2013年

3 戴仲政;基于腳本引擎的惡意網(wǎng)頁檢測系統(tǒng)[D];華南理工大學(xué);2014年

4 王慶;基于在線學(xué)習(xí)算法的惡意網(wǎng)頁檢測系統(tǒng)[D];哈爾濱工業(yè)大學(xué);2010年

5 岳濤;基于多特征的惡意網(wǎng)頁檢測研究[D];湖南大學(xué);2013年

6 羅劍;數(shù)據(jù)挖掘在惡意網(wǎng)頁動態(tài)檢測中的應(yīng)用研究[D];上海交通大學(xué);2012年

7 姚楠;基于客戶端惡意網(wǎng)頁收集與分析系統(tǒng)的安全技術(shù)研究[D];武漢理工大學(xué);2014年

8 羅江鋒;一種抑制惡意網(wǎng)頁的web權(quán)威結(jié)點(diǎn)挖掘算法研究[D];國防科學(xué)技術(shù)大學(xué);2008年

9 王穎杰;基于惡意網(wǎng)頁檢測的蜜罐系統(tǒng)研究[D];南京師范大學(xué);2008年

10 王松;基于學(xué)習(xí)的惡意網(wǎng)頁智能檢測系統(tǒng)[D];南京理工大學(xué);2011年

本文編號：2758171