天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

一種結(jié)合Kafka和Spark-streaming的大規(guī)?焖賽阂饩W(wǎng)頁(yè)識(shí)別方法的設(shè)計(jì)與實(shí)現(xiàn)

發(fā)布時(shí)間:2021-02-15 04:01
  隨著人們對(duì)互聯(lián)網(wǎng)應(yīng)用的越來(lái)越依賴(lài),用戶(hù)在互聯(lián)網(wǎng)中遭受攻擊的風(fēng)險(xiǎn)也越來(lái)越大。惡意網(wǎng)頁(yè)是最常見(jiàn)的攻擊方式,對(duì)用戶(hù)的互聯(lián)網(wǎng)應(yīng)用安全造成了很大的威脅。論文根據(jù)當(dāng)前惡意網(wǎng)頁(yè)對(duì)互聯(lián)網(wǎng)安全造成的威脅和面臨的現(xiàn)狀,通過(guò)理論分析與試驗(yàn)研究等方法深入討論了大規(guī)?焖賽阂饩W(wǎng)頁(yè)識(shí)別方法及其應(yīng)用。論文首先對(duì)惡意網(wǎng)頁(yè)的定義、典型防范措施以及Kafka和Spark-streaming等技術(shù)進(jìn)行了簡(jiǎn)述,然后重點(diǎn)分析了網(wǎng)頁(yè)樣本集獲取及特征提取方法。論文對(duì)惡意網(wǎng)頁(yè)識(shí)別及檢測(cè)方法進(jìn)行了設(shè)計(jì),選擇Weka工具對(duì)樣本數(shù)據(jù)進(jìn)行分類(lèi)訓(xùn)練和模型構(gòu)建,選擇支持向量機(jī)算法、樸素葉貝斯算法和線(xiàn)性神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了對(duì)比實(shí)驗(yàn)。論文最后對(duì)系統(tǒng)應(yīng)用實(shí)例進(jìn)行了設(shè)計(jì),測(cè)試結(jié)果表明,論文提出的系統(tǒng)方案具備較高的惡意網(wǎng)頁(yè)識(shí)別率,比其他靜態(tài)檢測(cè)方法具備更好的性能,能夠滿(mǎn)足大規(guī)模惡意網(wǎng)頁(yè)識(shí)別需求。 

【文章來(lái)源】:南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】:56 頁(yè)

【學(xué)位級(jí)別】:碩士

【部分圖文】:

一種結(jié)合Kafka和Spark-streaming的大規(guī)模快速惡意網(wǎng)頁(yè)識(shí)別方法的設(shè)計(jì)與實(shí)現(xiàn)


惡意網(wǎng)頁(yè)識(shí)別系統(tǒng)用例圖

流程圖,流程圖,推送,序列構(gòu)成


容易造成處理層崩潰,而 Kafka 系統(tǒng)作為收集層和處理層之間的緩沖,有效地解上問(wèn)題?蚣苤屑 Kafka 系統(tǒng)后,采集的匯總數(shù)據(jù)會(huì)以會(huì)話(huà) Topic 方式進(jìn)行存儲(chǔ)。層需要進(jìn)行數(shù)據(jù)處理時(shí),Kafka 系統(tǒng)才會(huì)將匯總的數(shù)據(jù)通過(guò)數(shù)據(jù)通道推送至處理層。(3)處理層。處理層主要由 Spark-streaming 構(gòu)成。在數(shù)據(jù)處理過(guò)程中,實(shí)時(shí)數(shù)據(jù)進(jìn)層后,會(huì)通過(guò) Spark-streaming 將其轉(zhuǎn)化為數(shù)量不等的 D-stream 分片,D-stream 分片D 序列構(gòu)成。Spark 體系中的 DAGScheduler 函數(shù)能夠?qū)?D-stream 分片中的 RDD 序?yàn)楣?Spark 內(nèi)核使用的數(shù)據(jù)集,然后進(jìn)行分布式計(jì)算。在進(jìn)行計(jì)算處理過(guò)程中rk-streaming 將數(shù)據(jù)處理任務(wù)分解成多個(gè) Stage ,然后將 Stage 轉(zhuǎn)換為任務(wù)集kScheduler 進(jìn)行推送,然后通過(guò) TaskScheduler 將任務(wù)向集群不同的計(jì)算節(jié)點(diǎn)進(jìn)行推送,布式計(jì)算。 系統(tǒng)工作流程設(shè)計(jì)工作流程主要對(duì)系統(tǒng)的數(shù)據(jù)處理過(guò)程和集群管理過(guò)程進(jìn)行描述,具體流程如圖 4.2所示

類(lèi)圖,網(wǎng)頁(yè),類(lèi)圖,樣本


圖 4.3 網(wǎng)頁(yè)樣本搜集模塊類(lèi)圖網(wǎng)頁(yè)抓取方法的研究,系統(tǒng)使用擴(kuò)展后的 Apache Nutch2用 Apache Nutch2 架構(gòu)進(jìn)行的爬蟲(chóng)過(guò)程屬于循環(huán)流程,具體 SampleAction 類(lèi)的 GetSample 方法獲取全球訪(fǎng)問(wèn)量前 10供的惡意鏈接 URL 名單。ads 類(lèi)的 Calculatetime 方法對(duì)頁(yè)面數(shù)據(jù)產(chǎn)生變化的時(shí)間間隔改變的頻率,進(jìn)而可以與頁(yè)面改變頻率相同的頻率進(jìn)行數(shù)行處理的鏈接隊(duì)列中,選擇某個(gè)鏈接,CrawlController 類(lèi)CrawlController 類(lèi)的 endurl 方法和 pausseurl 方法對(duì)采集任awlOrder 類(lèi)的 Geturlinfo 方法對(duì)該鏈接所屬的頁(yè)面信息進(jìn)行

【參考文獻(xiàn)】:
期刊論文
[1]基于Java的數(shù)據(jù)庫(kù)應(yīng)用框架的設(shè)計(jì)分析[J]. 程小紅.  電子設(shè)計(jì)工程. 2018(21)
[2]使用程序分析和特征識(shí)別方法過(guò)濾網(wǎng)頁(yè)廣告[J]. 何欣程,查春柳,許蕾.  小型微型計(jì)算機(jī)系統(tǒng). 2018(09)
[3]基于Spring MVC框架的Java Web應(yīng)用[J]. 葛萌,黃素萍,歐陽(yáng)宏基.  計(jì)算機(jī)與現(xiàn)代化. 2018(08)
[4]基于RBF神經(jīng)網(wǎng)絡(luò)的Android惡意行為識(shí)別[J]. 陳天偉.  現(xiàn)代電子技術(shù). 2018(15)
[5]基于SVM的惡意流量檢測(cè)及其改進(jìn)方法分析[J]. 張遠(yuǎn),徐逸卿.  信息與電腦(理論版). 2018(12)
[6]混淆惡意JavaScript代碼的多特征檢測(cè)識(shí)別與分析[J]. 曲文鵬,趙連軍,鄧旭.  智能計(jì)算機(jī)與應(yīng)用. 2018(04)
[7]無(wú)線(xiàn)網(wǎng)絡(luò)惡意入侵?jǐn)?shù)據(jù)自動(dòng)識(shí)別仿真研究[J]. 王丹,李娜.  計(jì)算機(jī)仿真. 2018(06)
[8]基于Java EE多層框架的實(shí)時(shí)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 魏志軍,周肖樹(shù),路良剛.  電子設(shè)計(jì)工程. 2018(11)
[9]基于主成分分析和隨機(jī)森林的惡意網(wǎng)站評(píng)估與識(shí)別[J]. 陳遠(yuǎn),王超群,胡忠義,吳江.  數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2018(04)
[10]基于聚類(lèi)算法的惡意網(wǎng)站智能檢測(cè)系統(tǒng)[J]. 王帥,趙剛,岳媛,苗睿捷,劉海曼.  信息系統(tǒng)工程. 2018(04)

碩士論文
[1]基于學(xué)習(xí)的惡意網(wǎng)頁(yè)智能檢測(cè)系統(tǒng)[D]. 王松.南京理工大學(xué) 2011



本文編號(hào):3034396

資料下載
論文發(fā)表

本文鏈接:http://www.sikaile.net/guanlilunwen/ydhl/3034396.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶(hù)d7c37***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請(qǐng)E-mail郵箱bigeng88@qq.com