本文關(guān)鍵詞：基于模板檢測(cè)的違法網(wǎng)站識(shí)別

  更多相關(guān)文章： 違法網(wǎng)站識(shí)別 模板檢測(cè) HTTP POST 圖分析

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,傳統(tǒng)的違法犯罪活動(dòng)不斷借助新技術(shù)改頭換面,死灰復(fù)燃,對(duì)我國(guó)經(jīng)濟(jì)發(fā)展以及社會(huì)穩(wěn)定構(gòu)成極大威脅。公安部投入了大量人力來(lái)打擊違法網(wǎng)絡(luò)活動(dòng),但主要依靠民眾舉報(bào)和人工篩選,耗時(shí)耗力。目前主流的違法網(wǎng)站自動(dòng)識(shí)別技術(shù)有黑名單、靜態(tài)分析和動(dòng)態(tài)檢測(cè)。黑名單可提供快速便捷的可疑網(wǎng)址查詢服務(wù),但維護(hù)成本高;靜態(tài)分析理論完備,技術(shù)成熟,但數(shù)據(jù)源限于靜態(tài)網(wǎng)頁(yè)數(shù)據(jù),實(shí)時(shí)性不高;動(dòng)態(tài)檢測(cè)主要針對(duì)網(wǎng)站掛馬,對(duì)于常見的詐騙、賭博類網(wǎng)站無(wú)效。所以目前急需實(shí)用的違法網(wǎng)站自動(dòng)識(shí)別技術(shù),能快速、高精度地從海量網(wǎng)站中識(shí)別出常見違法網(wǎng)站,從而達(dá)到打擊網(wǎng)絡(luò)違法犯罪的目的。針對(duì)上述現(xiàn)狀,本文提出并實(shí)現(xiàn)了基于模板檢測(cè)的違法網(wǎng)站自動(dòng)識(shí)別方法和技術(shù)。該方法從檢測(cè)網(wǎng)站模板的角度出發(fā),結(jié)合HTTP POST特征提取、相似度模型、網(wǎng)站聚類、模板檢測(cè)等多種技術(shù),從海量網(wǎng)站中抽取違法網(wǎng)站模板,快速準(zhǔn)確地識(shí)別違法網(wǎng)站,同時(shí)滿足性能要求。首先,本文分析了常見違法網(wǎng)站的特征,初步提出了三種識(shí)別方案。在綜合考慮研究目標(biāo)和評(píng)價(jià)指標(biāo)后,選用基于模板檢測(cè)來(lái)識(shí)別違法網(wǎng)站。接著重點(diǎn)研究該方案的4個(gè)關(guān)鍵技術(shù):1)模板檢測(cè)特征的確定。以網(wǎng)站POST行為作為模板識(shí)別的切入點(diǎn),深入分析POST中所包含的信息,提出POST特征值計(jì)算公式。2)網(wǎng)站相似度模型。為了提取違法網(wǎng)站模板和識(shí)別違法網(wǎng)站,基于網(wǎng)站POST特征值提出網(wǎng)站相似度模型。該模型為每個(gè)網(wǎng)站構(gòu)造特征值集合,并采用Jaccard計(jì)算兩網(wǎng)站相似度。3)模板抽取。根據(jù)網(wǎng)站間的相似度對(duì)網(wǎng)站聚類,從中選出違法網(wǎng)站聚類,借鑒TF-IDF算法,提取違法聚類中的關(guān)鍵POST特征值作為違法網(wǎng)站模板。4)模板檢測(cè)。在相似度模型和違法網(wǎng)站模板的基礎(chǔ)上,判斷未知網(wǎng)站是否屬于違法網(wǎng)站。隨后,本文采用Hadoop、Map-Reduce、Hive和多線程等技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了基于模板檢測(cè)的違法網(wǎng)站識(shí)別系統(tǒng)原型。為了驗(yàn)證所提方案的有效性,以賭博違法網(wǎng)站為例,進(jìn)行了三項(xiàng)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本文方案能準(zhǔn)確地識(shí)別出違法網(wǎng)站,通過(guò)不斷調(diào)整閾值,可讓精度達(dá)到100%;相比URL、HTML和語(yǔ)義特征,HTTP POST特征值能更準(zhǔn)確地識(shí)別賭博網(wǎng)站;提出的技術(shù)框架滿足性能評(píng)價(jià)指標(biāo)和伸縮性,但運(yùn)行時(shí)間和召回率尚有優(yōu)化空間。最后,針對(duì)性能和召回率不高的問(wèn)題,本文對(duì)網(wǎng)站聚類展開圖分析研究,抽取聚類圖特征,研究其中的分布模式與異常情況,并將所得發(fā)現(xiàn)用于優(yōu)化網(wǎng)站相似度模型。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的模型能較好地提高了違法網(wǎng)站模板抽取的效率與違法網(wǎng)站識(shí)別的召回率。
【關(guān)鍵詞】：違法網(wǎng)站識(shí)別 模板檢測(cè) HTTP POST 圖分析
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.092
【目錄】：

• 摘要3-5
• ABSTRACT5-9
• 1 緒論9-17
• 1.1 研究背景9-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀分析10-14
• 1.2.1 黑名單10-11
• 1.2.2 靜態(tài)檢測(cè)11-13
• 1.2.3 動(dòng)態(tài)檢測(cè)13-14
• 1.2.4 研究現(xiàn)狀分析小結(jié)14
• 1.3 研究目標(biāo)和內(nèi)容14-16
• 1.4 論文結(jié)構(gòu)16-17
• 2 總體方案和關(guān)鍵技術(shù)研究17-28
• 2.1 違法網(wǎng)站識(shí)別的總體方案17-20
• 2.1.1 違法網(wǎng)站的特征分析17
• 2.1.2 總體方案選擇17-18
• 2.1.3 評(píng)價(jià)指標(biāo)18-19
• 2.1.4 關(guān)鍵技術(shù)19-20
• 2.2 模板檢測(cè)特征確定20-24
• 2.2.1 HTTP分析20-21
• 2.2.2 HTTP POST關(guān)鍵特征值提取21-24
• 2.3 網(wǎng)站相似度模型24-25
• 2.3.1 構(gòu)建網(wǎng)站特征集合24
• 2.3.2 計(jì)算網(wǎng)站間相似度24-25
• 2.4 模板抽取25-27
• 2.4.1 網(wǎng)站聚類25-26
• 2.4.2 模板抽取26-27
• 2.5 模板檢測(cè)27
• 2.6 本章小結(jié)27-28
• 3 原型實(shí)現(xiàn)和實(shí)驗(yàn)28-46
• 3.1 技術(shù)框架28-29
• 3.2 數(shù)據(jù)預(yù)處理模塊的設(shè)計(jì)與實(shí)現(xiàn)29-31
• 3.3 基于Map-Reduce的網(wǎng)站相似度計(jì)算模塊的設(shè)計(jì)與實(shí)現(xiàn)31-35
• 3.3.1 Map-Reduce模型和Hadoop平臺(tái)31-32
• 3.3.2 技術(shù)實(shí)現(xiàn)32-35
• 3.4 違法網(wǎng)站模板抽取模塊的設(shè)計(jì)與實(shí)現(xiàn)35-36
• 3.5 違法網(wǎng)站識(shí)別模塊的設(shè)計(jì)與實(shí)現(xiàn)36-38
• 3.6 實(shí)驗(yàn)38-44
• 3.6.1 實(shí)驗(yàn)環(huán)境38-39
• 3.6.2 實(shí)驗(yàn)數(shù)據(jù)39
• 3.6.3 實(shí)驗(yàn)一39-41
• 3.6.4 實(shí)驗(yàn)二41-43
• 3.6.5 實(shí)驗(yàn)三43-44
• 3.7 本章小結(jié)44-46
• 4 基于聚類圖分析的網(wǎng)站相似度模型優(yōu)化46-58
• 4.1 圖分析的相關(guān)工作46-47
• 4.2 研究步驟47-48
• 4.3 提取圖特征48-49
• 4.4 模式與異常49-54
• 4.4.1 模式49-52
• 4.4.2 異常52-54
• 4.5 模型改進(jìn)54-56
• 4.6 實(shí)驗(yàn)四56
• 4.7 本章小結(jié)56-58
• 5 總結(jié)與展望58-60
• 5.1 本文工作小結(jié)58-59
• 5.2 展望59-60
• 參考文獻(xiàn)60-63
• 致謝63-64
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文64-66

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 徐海麗;王洋;楊文軍;吳道慶;;一種基于熵的距離像模板庫(kù)建立方法[J];現(xiàn)代雷達(dá);2008年02期

2 陳希明,葛寶臻,張以謨;相關(guān)峰實(shí)時(shí)模板判別方法的研究[J];光電子·激光;1997年05期

3 蘇子偉;;如何理解C++模板[J];軟件工程師;2014年02期

4 蔡輝,孟飛;如何在程序開發(fā)中正確應(yīng)用C++模板庫(kù)[J];微型電腦應(yīng)用;2002年09期

5 劉曉平;毛崢強(qiáng);;面向?qū)ο蟮膮f(xié)同模板分類模型研究[J];工程圖學(xué)學(xué)報(bào);2007年01期

6 徐清華;魏小磊;李中良;;基于模板庫(kù)的自動(dòng)圖像對(duì)象分割方法研究[J];艦船電子工程;2014年05期

7 胡睿;;基于模板的圖像內(nèi)容檢索新算法[J];電子技術(shù)與軟件工程;2014年13期

8 張興東,張鴻雁;C++中的標(biāo)準(zhǔn)模板庫(kù)[J];計(jì)算技術(shù)與自動(dòng)化;2000年03期

9 胡琪波;何衛(wèi)平;董蓉;李亞杰;王偉;;可重用MES模板檢索技術(shù)研究[J];鍛壓裝備與制造技術(shù);2010年03期

10 林賢明,李堂秋,史曉東;基于模板的機(jī)器翻譯系統(tǒng)中模板庫(kù)的自動(dòng)構(gòu)建技術(shù)[J];計(jì)算機(jī)應(yīng)用;2004年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 王建軍;李紅燕;唐綠岸;應(yīng)鶯;薛明;;基于模板的構(gòu)件重用和動(dòng)態(tài)模式修改策略[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 楊二寶;呂學(xué)強(qiáng);朱靖波;姚天順;;一種漢英翻譯模板提取方法[A];語(yǔ)言計(jì)算與基于內(nèi)容的文本處理——全國(guó)第七屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2003年

3 劉鐵銳;游濤;李偉光;;模板、單構(gòu)件方式開發(fā)工程量統(tǒng)計(jì)軟件[A];第十四屆全國(guó)工程設(shè)計(jì)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2008年

4 葉娜;吳雪軍;朱靖波;陳文亮;;基于相似計(jì)算的信息抽取模板自動(dòng)獲取方法[A];第二屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2004年

5 毛崢強(qiáng);路強(qiáng);劉曉平;;基于協(xié)同模板的面向?qū)ο蠓诸惸Ｐ蚚A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2006年

6 盧偉;榮明;李小龍;王欽釗;;虛擬士兵外觀多樣化仿真研究[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

7 張學(xué);黃德根;;EBMT中翻譯模板的抽取與匹配[A];全國(guó)第八屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議（JSCL-2005）論文集[C];2005年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前3條

1 第七樂(lè)章;制作個(gè)性化的課件模板[N];中國(guó)電腦教育報(bào);2004年

2 河南 EVAer;輕松打造精美LOGO[N];電腦報(bào);2004年

3 仲勇;用金山文字制作請(qǐng)款單[N];中國(guó)電腦教育報(bào);2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前9條

1 張瀚瓏;基于模板檢測(cè)的違法網(wǎng)站識(shí)別[D];上海交通大學(xué);2015年

2 崔曉;可重構(gòu)運(yùn)算系統(tǒng)的多媒體處理算法模板庫(kù)研究[D];上海交通大學(xué);2011年

3 郜嶸;多媒體同步編輯器中模板功能的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

4 官曉沖;應(yīng)用于C++模板的重構(gòu)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2004年

5 吳小川;泛化的基于實(shí)例方法的漢語(yǔ)維吾爾語(yǔ)模板庫(kù)的構(gòu)建[D];新疆大學(xué);2012年

6 張學(xué);EBMT系統(tǒng)中翻譯模板的抽取與匹配[D];大連理工大學(xué);2006年

7 李濤;電子商務(wù)開發(fā)模板的應(yīng)用[D];中國(guó)地質(zhì)大學(xué)（北京）;2006年

8 趙健;基于模板定制的彈箭零件參數(shù)化工藝設(shè)計(jì)及系統(tǒng)研究[D];中北大學(xué);2013年

9 韓亞冬;協(xié)同環(huán)境下基于模板的機(jī)器翻譯技術(shù)的研究[D];沈陽(yáng)航空航天大學(xué);2012年

，

本文編號(hào)：828941