基于DBSCAN算法的WEB漏洞檢測(cè)去重方法研究
發(fā)布時(shí)間:2021-05-19 18:45
隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)平臺(tái)已經(jīng)成為當(dāng)今社會(huì)信息的主要傳播媒介,人們的生活方式也隨之發(fā)生了很大的變化,體現(xiàn)在通過網(wǎng)站進(jìn)行購(gòu)物、教育、通訊等方面;同時(shí),黑客針對(duì)網(wǎng)站的攻擊嚴(yán)重威脅著人們的利益,如果能夠針對(duì)網(wǎng)站存在的漏洞進(jìn)行快速掃描,在被黑客攻擊之前給出防御措施,就會(huì)很大程度上提升網(wǎng)站的安全性,在實(shí)際應(yīng)用中將有很大的價(jià)值。目前,傳統(tǒng)的Web漏洞檢測(cè)系統(tǒng)使用的網(wǎng)絡(luò)爬蟲對(duì)網(wǎng)站頁(yè)面數(shù)據(jù)的爬取不夠完整,并且沒有針對(duì)反爬機(jī)制進(jìn)行改進(jìn),導(dǎo)致漏洞檢測(cè)的可行性降低、漏報(bào)率增加;同時(shí)針對(duì)網(wǎng)絡(luò)爬蟲采集到的頁(yè)面數(shù)據(jù)沒有采取高效且準(zhǔn)確的算法進(jìn)行去重處理,造成掃描系統(tǒng)速率降低,這種掃描方法已經(jīng)不滿足當(dāng)代安全行業(yè)的需求,需要提出新的方案;谀M人機(jī)交互的自動(dòng)化網(wǎng)絡(luò)爬蟲更好地模擬了人的行為,可以更全面的分析網(wǎng)站結(jié)構(gòu),更好地處理并采集網(wǎng)站數(shù)據(jù),同時(shí)在一定程度上可以抵御反爬機(jī)制;基于密度的DBSCAN聚類算法針對(duì)網(wǎng)站數(shù)據(jù)的特征,可以更好地刻畫每個(gè)頁(yè)面的特點(diǎn)及與其他頁(yè)面的區(qū)別,達(dá)到快速且準(zhǔn)確去重的目的。因此本文結(jié)合人機(jī)交互的網(wǎng)絡(luò)爬蟲和DBSCAN聚類算法兩個(gè)方面進(jìn)行研究Web漏洞掃描方法。具體研究?jī)?nèi)容如下:(1)采用Se...
【文章來(lái)源】:中北大學(xué)山西省
【文章頁(yè)數(shù)】:88 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 研究背景與意義
1.2 研究現(xiàn)狀
1.2.1 漏洞檢測(cè)與爬蟲研究現(xiàn)狀
1.2.2 頁(yè)面去重技術(shù)研究現(xiàn)狀
1.3 本文研究主要內(nèi)容及創(chuàng)新點(diǎn)
1.4 論文組織結(jié)構(gòu)
第2章 關(guān)鍵技術(shù)研究
2.1 WEB安全概述
2.2 WEB漏洞檢測(cè)技術(shù)研究
2.2.1 SQL注入漏洞
2.2.2 XSS跨站腳本漏洞
2.3 網(wǎng)絡(luò)爬蟲技術(shù)研究
2.3.1 網(wǎng)絡(luò)爬蟲技術(shù)介紹
2.3.2 靜態(tài)數(shù)據(jù)網(wǎng)絡(luò)爬蟲
2.3.3 基于模擬人機(jī)交互的動(dòng)態(tài)數(shù)據(jù)網(wǎng)絡(luò)爬蟲
2.4 頁(yè)面去重技術(shù)研究
2.4.1 傳統(tǒng)的正則去重
2.4.2 基于密度聚類的DBSCAN算法
2.5 本章小結(jié)
第3章 WEB漏洞檢測(cè)去重方法研究
3.1 基于人機(jī)交互的網(wǎng)絡(luò)爬蟲進(jìn)行資產(chǎn)收集
3.1.1 網(wǎng)絡(luò)爬蟲反爬研究
3.1.2 網(wǎng)絡(luò)爬蟲數(shù)據(jù)采集
3.2 DBSCAN聚類算法進(jìn)行頁(yè)面去重處理
3.2.1 傳統(tǒng)正則匹配Url去重
3.2.2 DBSCAN密度聚類深度去重
3.3 實(shí)驗(yàn)方案與結(jié)果
3.3.1 實(shí)驗(yàn)方案
3.3.2 評(píng)估方法
3.3.3 實(shí)驗(yàn)結(jié)果
3.4 本章小結(jié)
第4章 WEB漏洞檢測(cè)系統(tǒng)實(shí)現(xiàn)與評(píng)估
4.1 需求分析
4.1.1 功能需求
4.1.2 性能測(cè)試
4.1.3 其他需求
4.2 系統(tǒng)總體架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)
4.2.1 網(wǎng)絡(luò)爬蟲模塊
4.2.2 頁(yè)面去重模塊
4.2.3 漏洞檢測(cè)模塊
4.2.4 數(shù)據(jù)庫(kù)設(shè)計(jì)模塊
4.3 系統(tǒng)測(cè)試與結(jié)果分析
4.3.1 測(cè)試目的
4.3.2 測(cè)試環(huán)境
4.3.3 測(cè)試過程與結(jié)果分析
4.4 本章小結(jié)
第5章 結(jié)論與展望
5.1 全文總結(jié)
5.2 未來(lái)展望
參考文獻(xiàn)
攻讀碩士期間發(fā)表的論文及所取得的研究成果
致謝
【參考文獻(xiàn)】:
期刊論文
[1]網(wǎng)絡(luò)個(gè)人信息風(fēng)險(xiǎn)與保護(hù)策略研究[J]. 吳丹. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2019(03)
[2]大數(shù)據(jù)時(shí)代數(shù)據(jù)分析與信息安全防護(hù)[J]. 李福琳. 山東工業(yè)技術(shù). 2019(06)
[3]基于云計(jì)算的網(wǎng)絡(luò)信息安全管理系統(tǒng)設(shè)計(jì)[J]. 王明君. 電子技術(shù)與軟件工程. 2019(04)
[4]網(wǎng)絡(luò)通信安全與信息系統(tǒng)管理的安全探討[J]. 黃武濤. 農(nóng)家參謀. 2019(05)
[5]WebDriver自動(dòng)化測(cè)試研究與應(yīng)用[J]. 楊國(guó)勛. 科技傳播. 2019(02)
[6]數(shù)據(jù)隱私保護(hù)新思路:從依賴他方到自主可控[J]. 姚前. 中國(guó)信息安全. 2019(01)
[7]A Method for Time-Series Location Data Publication Based on Differential Privacy[J]. KANG Haiyan,ZHANG Shuxuan,JIA Qianqian. Wuhan University Journal of Natural Sciences. 2019(02)
[8]基于Web滲透測(cè)試的SQL注入研究[J]. 曾佩璇,湯艷君,錢麗納. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(12)
[9]基于特征集合的XSS漏洞安全研究[J]. 齊曉霞,丁黃法,王琦進(jìn). 西華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(06)
[10]基于樸素貝葉斯的新聞分類改進(jìn)[J]. 孫子杰. 電子制作. 2018(22)
博士論文
[1]面向防御的網(wǎng)絡(luò)欺騙技術(shù)研究[D]. 賈召鵬.北京郵電大學(xué) 2018
碩士論文
[1]基于Scrapy的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 樊宇豪.電子科技大學(xué) 2018
[2]面向Web應(yīng)用的SQL注入防御技術(shù)研究[D]. 趙茜.哈爾濱工程大學(xué) 2018
[3]基于Selenium的數(shù)據(jù)自動(dòng)抓取軟件設(shè)計(jì)與實(shí)現(xiàn)[D]. 趙夢(mèng)影.大連理工大學(xué) 2018
[4]基于改進(jìn)爬蟲技術(shù)的SQL注入的自動(dòng)化掃描工具的研究與設(shè)計(jì)[D]. 賈瀟雨.北京郵電大學(xué) 2018
[5]基于SQLite輔數(shù)據(jù)庫(kù)的供應(yīng)商關(guān)系管理移動(dòng)端設(shè)計(jì)與實(shí)現(xiàn)[D]. 羅琪成.山東大學(xué) 2018
[6]基于網(wǎng)絡(luò)爬蟲的Web安全掃描工具的設(shè)計(jì)與實(shí)現(xiàn)[D]. 翟涵.北京郵電大學(xué) 2018
[7]WEB實(shí)體信息的提取算法及其應(yīng)用研究[D]. 高峰.電子科技大學(xué) 2018
[8]XSS攻擊檢測(cè)與安全防護(hù)技術(shù)研究與設(shè)計(jì)[D]. 楊君.北京郵電大學(xué) 2017
[9]Web應(yīng)用系統(tǒng)漏洞檢測(cè)技術(shù)研究與實(shí)現(xiàn)[D]. 洪俊斌.廣東工業(yè)大學(xué) 2016
[10]Web應(yīng)用漏洞分析與檢測(cè)的研究[D]. 孫曉飛.北京郵電大學(xué) 2016
本文編號(hào):3196260
【文章來(lái)源】:中北大學(xué)山西省
【文章頁(yè)數(shù)】:88 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
第1章 緒論
1.1 研究背景與意義
1.2 研究現(xiàn)狀
1.2.1 漏洞檢測(cè)與爬蟲研究現(xiàn)狀
1.2.2 頁(yè)面去重技術(shù)研究現(xiàn)狀
1.3 本文研究主要內(nèi)容及創(chuàng)新點(diǎn)
1.4 論文組織結(jié)構(gòu)
第2章 關(guān)鍵技術(shù)研究
2.1 WEB安全概述
2.2 WEB漏洞檢測(cè)技術(shù)研究
2.2.1 SQL注入漏洞
2.2.2 XSS跨站腳本漏洞
2.3 網(wǎng)絡(luò)爬蟲技術(shù)研究
2.3.1 網(wǎng)絡(luò)爬蟲技術(shù)介紹
2.3.2 靜態(tài)數(shù)據(jù)網(wǎng)絡(luò)爬蟲
2.3.3 基于模擬人機(jī)交互的動(dòng)態(tài)數(shù)據(jù)網(wǎng)絡(luò)爬蟲
2.4 頁(yè)面去重技術(shù)研究
2.4.1 傳統(tǒng)的正則去重
2.4.2 基于密度聚類的DBSCAN算法
2.5 本章小結(jié)
第3章 WEB漏洞檢測(cè)去重方法研究
3.1 基于人機(jī)交互的網(wǎng)絡(luò)爬蟲進(jìn)行資產(chǎn)收集
3.1.1 網(wǎng)絡(luò)爬蟲反爬研究
3.1.2 網(wǎng)絡(luò)爬蟲數(shù)據(jù)采集
3.2 DBSCAN聚類算法進(jìn)行頁(yè)面去重處理
3.2.1 傳統(tǒng)正則匹配Url去重
3.2.2 DBSCAN密度聚類深度去重
3.3 實(shí)驗(yàn)方案與結(jié)果
3.3.1 實(shí)驗(yàn)方案
3.3.2 評(píng)估方法
3.3.3 實(shí)驗(yàn)結(jié)果
3.4 本章小結(jié)
第4章 WEB漏洞檢測(cè)系統(tǒng)實(shí)現(xiàn)與評(píng)估
4.1 需求分析
4.1.1 功能需求
4.1.2 性能測(cè)試
4.1.3 其他需求
4.2 系統(tǒng)總體架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)
4.2.1 網(wǎng)絡(luò)爬蟲模塊
4.2.2 頁(yè)面去重模塊
4.2.3 漏洞檢測(cè)模塊
4.2.4 數(shù)據(jù)庫(kù)設(shè)計(jì)模塊
4.3 系統(tǒng)測(cè)試與結(jié)果分析
4.3.1 測(cè)試目的
4.3.2 測(cè)試環(huán)境
4.3.3 測(cè)試過程與結(jié)果分析
4.4 本章小結(jié)
第5章 結(jié)論與展望
5.1 全文總結(jié)
5.2 未來(lái)展望
參考文獻(xiàn)
攻讀碩士期間發(fā)表的論文及所取得的研究成果
致謝
【參考文獻(xiàn)】:
期刊論文
[1]網(wǎng)絡(luò)個(gè)人信息風(fēng)險(xiǎn)與保護(hù)策略研究[J]. 吳丹. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2019(03)
[2]大數(shù)據(jù)時(shí)代數(shù)據(jù)分析與信息安全防護(hù)[J]. 李福琳. 山東工業(yè)技術(shù). 2019(06)
[3]基于云計(jì)算的網(wǎng)絡(luò)信息安全管理系統(tǒng)設(shè)計(jì)[J]. 王明君. 電子技術(shù)與軟件工程. 2019(04)
[4]網(wǎng)絡(luò)通信安全與信息系統(tǒng)管理的安全探討[J]. 黃武濤. 農(nóng)家參謀. 2019(05)
[5]WebDriver自動(dòng)化測(cè)試研究與應(yīng)用[J]. 楊國(guó)勛. 科技傳播. 2019(02)
[6]數(shù)據(jù)隱私保護(hù)新思路:從依賴他方到自主可控[J]. 姚前. 中國(guó)信息安全. 2019(01)
[7]A Method for Time-Series Location Data Publication Based on Differential Privacy[J]. KANG Haiyan,ZHANG Shuxuan,JIA Qianqian. Wuhan University Journal of Natural Sciences. 2019(02)
[8]基于Web滲透測(cè)試的SQL注入研究[J]. 曾佩璇,湯艷君,錢麗納. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(12)
[9]基于特征集合的XSS漏洞安全研究[J]. 齊曉霞,丁黃法,王琦進(jìn). 西華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(06)
[10]基于樸素貝葉斯的新聞分類改進(jìn)[J]. 孫子杰. 電子制作. 2018(22)
博士論文
[1]面向防御的網(wǎng)絡(luò)欺騙技術(shù)研究[D]. 賈召鵬.北京郵電大學(xué) 2018
碩士論文
[1]基于Scrapy的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 樊宇豪.電子科技大學(xué) 2018
[2]面向Web應(yīng)用的SQL注入防御技術(shù)研究[D]. 趙茜.哈爾濱工程大學(xué) 2018
[3]基于Selenium的數(shù)據(jù)自動(dòng)抓取軟件設(shè)計(jì)與實(shí)現(xiàn)[D]. 趙夢(mèng)影.大連理工大學(xué) 2018
[4]基于改進(jìn)爬蟲技術(shù)的SQL注入的自動(dòng)化掃描工具的研究與設(shè)計(jì)[D]. 賈瀟雨.北京郵電大學(xué) 2018
[5]基于SQLite輔數(shù)據(jù)庫(kù)的供應(yīng)商關(guān)系管理移動(dòng)端設(shè)計(jì)與實(shí)現(xiàn)[D]. 羅琪成.山東大學(xué) 2018
[6]基于網(wǎng)絡(luò)爬蟲的Web安全掃描工具的設(shè)計(jì)與實(shí)現(xiàn)[D]. 翟涵.北京郵電大學(xué) 2018
[7]WEB實(shí)體信息的提取算法及其應(yīng)用研究[D]. 高峰.電子科技大學(xué) 2018
[8]XSS攻擊檢測(cè)與安全防護(hù)技術(shù)研究與設(shè)計(jì)[D]. 楊君.北京郵電大學(xué) 2017
[9]Web應(yīng)用系統(tǒng)漏洞檢測(cè)技術(shù)研究與實(shí)現(xiàn)[D]. 洪俊斌.廣東工業(yè)大學(xué) 2016
[10]Web應(yīng)用漏洞分析與檢測(cè)的研究[D]. 孫曉飛.北京郵電大學(xué) 2016
本文編號(hào):3196260
本文鏈接:http://www.sikaile.net/guanlilunwen/ydhl/3196260.html
最近更新
教材專著