計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展為人們的生活方式帶來了新的變化,互聯(lián)網(wǎng)社交、電子商務(wù)以及互聯(lián)網(wǎng)金融已經(jīng)融入了人們的日常生活。與此同時(shí),一些惡意的鏈接,即惡意URL會(huì)將用戶導(dǎo)向惡意攻擊性的網(wǎng)站,或者將用戶與惡意文件連接起來,或者將用戶導(dǎo)向釣魚網(wǎng)站,伺機(jī)竊取用戶的賬戶等信息,侵犯用戶的個(gè)人隱私,帶來很大的風(fēng)險(xiǎn)會(huì)造成用戶的財(cái)產(chǎn)等損失。在大數(shù)據(jù)時(shí)代背景下,如何實(shí)時(shí)高效地檢測(cè)出這些惡意URL并及時(shí)做出報(bào)警和禁止訪問等防護(hù)措施,以減少惡意URL對(duì)海量網(wǎng)絡(luò)用戶的威脅和侵害,始終是網(wǎng)絡(luò)安全領(lǐng)域中需要解決的問題。本文采用在線學(xué)習(xí)算法訓(xùn)練惡意URL檢測(cè)模型,充分利用了在線學(xué)習(xí)算法的模型更新效率高、以及利用有限的計(jì)算機(jī)資源實(shí)現(xiàn)對(duì)無界數(shù)據(jù)處理的特點(diǎn)。使用流式計(jì)算框架Flink實(shí)現(xiàn)了對(duì)消息系統(tǒng)Kafka中網(wǎng)絡(luò)流數(shù)據(jù)的URL的實(shí)時(shí)消費(fèi),通過在線學(xué)習(xí)算法訓(xùn)練得到的檢測(cè)模型實(shí)現(xiàn)了對(duì)URL的近實(shí)時(shí)檢測(cè)。同時(shí)利用檢索引擎ElasticSearch實(shí)現(xiàn)了對(duì)大規(guī)模網(wǎng)絡(luò)流數(shù)據(jù)的檢索分析。本文主要完成了如下工作。1.針對(duì)采用離線批量數(shù)據(jù)訓(xùn)練URL的檢測(cè)模型耗時(shí)長,模型不能及時(shí)更新導(dǎo)致URL分類模型時(shí)效性不強(qiáng),以及樣本數(shù)據(jù)量過大無... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：75 頁

【學(xué)位級(jí)別】：碩士

【圖文】：

HTTP數(shù)據(jù)

46圖 5.1 是解析網(wǎng)絡(luò)數(shù)據(jù)包得到的 HTTP 的數(shù)據(jù)，圖 5.2 是解析網(wǎng)絡(luò)數(shù)據(jù)包得到NS 數(shù)據(jù)，本測(cè)試顯示解析得到的所有的數(shù)據(jù)與設(shè)計(jì)的字段值相匹配，說明了 DP

測(cè)試結(jié)果如圖 5.3 所示，左側(cè)是消息系統(tǒng)的生產(chǎn)者，右側(cè)是消息系統(tǒng)的消費(fèi)者過 Kafka 創(chuàng)建的 Topic 主題，在生產(chǎn)者端生產(chǎn)消息，消費(fèi)者端可成功對(duì)消息進(jìn)行消費(fèi)，說明成功完成了數(shù)據(jù)的實(shí)時(shí)傳輸。5.2.3 惡意 URL 檢測(cè)結(jié)果測(cè)試

【參考文獻(xiàn)】：
期刊論文
[1]在線學(xué)習(xí)算法綜述[J]. 潘志松,唐斯琪,邱俊洋,胡谷雨.  數(shù)據(jù)采集與處理. 2016(06)
[2]面向大數(shù)據(jù)分析的在線學(xué)習(xí)算法綜述[J]. 李志杰,李元香,王峰,何國良,匡立.  計(jì)算機(jī)研究與發(fā)展. 2015(08)
[3]惡意網(wǎng)頁識(shí)別研究綜述[J]. 沙泓州,劉慶云,柳廳文,周舟,郭莉,方濱興.  計(jì)算機(jī)學(xué)報(bào). 2016(03)

博士論文
[1]面向大規(guī)模網(wǎng)絡(luò)流量的URL實(shí)時(shí)分類關(guān)鍵技術(shù)研究[D]. 沙泓州.北京郵電大學(xué) 2015



本文編號(hào)：3275195