【摘要】：在網(wǎng)絡(luò)技術(shù)不斷進(jìn)步地推動(dòng)下,互聯(lián)網(wǎng)不斷地?cái)U(kuò)大其作為通訊和商業(yè)媒介的影響力,更在互聯(lián)網(wǎng)企業(yè)創(chuàng)造新興商業(yè)渠道中扮演極為重要的角色�；ヂ�(lián)網(wǎng)業(yè)務(wù)需求的迅速增加激勵(lì)著企業(yè)和各國(guó)政府發(fā)展國(guó)際化的復(fù)雜信息網(wǎng)絡(luò),網(wǎng)絡(luò)技術(shù)與WEB服務(wù)呈現(xiàn)多樣化。然而,黑客技術(shù)不斷進(jìn)化以及系統(tǒng)安全防護(hù)功能不足導(dǎo)致了近兩年網(wǎng)絡(luò)安全事件頻發(fā),網(wǎng)絡(luò)攻擊數(shù)量不斷上升,網(wǎng)絡(luò)攻擊檢測(cè)已成為一個(gè)備受關(guān)注的研究課題,檢測(cè)和阻止網(wǎng)絡(luò)攻擊的技術(shù)研究工作需要更加深入地展開。今天的商用入侵檢測(cè)系統(tǒng)主要是基于簽名的,用于檢測(cè)已被識(shí)別的攻擊行為,這樣的系統(tǒng)需要頻繁地更新規(guī)則庫(kù)和簽名庫(kù),耗時(shí)長(zhǎng)且不能夠檢測(cè)未知攻擊。服務(wù)器內(nèi)部署的大部分檢測(cè)系統(tǒng)之間缺乏聯(lián)動(dòng)機(jī)制,并且缺少對(duì)大規(guī)模數(shù)據(jù)有效分析的能力,使得數(shù)據(jù)分析難度和耗費(fèi)時(shí)間不斷增加。因此面向應(yīng)用層的異常檢測(cè)技術(shù)被廣泛研究,通過(guò)分析正常行為的特征模式,構(gòu)建正向安全模型,可以有效識(shí)別惡意攻擊行為,由于該類技術(shù)不是基于已有專家知識(shí)構(gòu)建的,因此對(duì)于挖掘未知的網(wǎng)絡(luò)攻擊手段、跟蹤新型的木馬行為以及挖掘新型的網(wǎng)絡(luò)漏洞都有著重要的意義。本文的工作以自主研究課題“基于海量日志的WEB行為安全模型研究”中提出的“WEB日志安全智能分析系統(tǒng)”為基礎(chǔ),該系統(tǒng)主要通過(guò)建立多層次的WEB訪問(wèn)模型對(duì)異常行為進(jìn)行分析研究,挖掘海量訪問(wèn)日志數(shù)據(jù)之間潛在的關(guān)系。本文主要介紹并研究了多種類型的檢測(cè)方式,探討了各種方法和系統(tǒng)的優(yōu)勢(shì)及不足,然后利用數(shù)據(jù)挖掘的思想挖掘用戶行為模式。實(shí)現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng)中的IP/UA (User Agent)特征分析和攻擊頻繁模式挖掘兩個(gè)模塊的功能,最終通過(guò)特征檢測(cè)達(dá)到識(shí)別用戶的異常行為,并對(duì)異常進(jìn)行了類別的劃分。為了滿足功能測(cè)試和項(xiàng)目自身的需求,項(xiàng)目組搭建了以Hadoop加ELK為基礎(chǔ)的大數(shù)據(jù)分析平臺(tái)。收集了某大型網(wǎng)站群的歷史WEB訪問(wèn)日志,使用較流行的ElasticSearch平臺(tái)達(dá)到日志數(shù)據(jù)存儲(chǔ)、管理以及查詢的目的,利用分布式編程模型對(duì)大規(guī)模訪問(wèn)日志進(jìn)行分布式處理和計(jì)算,以求達(dá)到支撐歷史數(shù)據(jù)批量分析和實(shí)時(shí)流量數(shù)據(jù)分析的需求。本文的工作是批量分析歷史數(shù)據(jù),測(cè)試集選取了2013年8月份全部日志數(shù)據(jù),測(cè)試模塊為IP/UA特征分析模塊和攻擊頻繁模式挖掘模塊。測(cè)試結(jié)果表明：Hadoop分布式系統(tǒng)能夠有效地完成日志數(shù)據(jù)處理并顯著縮短處理時(shí)間;IP/UA特征分析能夠識(shí)別假冒知名爬蟲的、使用可疑UA的或UA含有異常字符的用戶：攻擊頻繁模式挖掘的結(jié)果總結(jié)后形成了四類異常模式,可以用于判別新用戶實(shí)例是否存在異常和異常類型。
【學(xué)位授予單位】：中國(guó)海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閻巧,謝維信;異常檢測(cè)技術(shù)的研究與發(fā)展[J];西安電子科技大學(xué)學(xué)報(bào);2002年01期

2 田琳;黃文海;;無(wú)線局域網(wǎng)基于靜態(tài)馬爾可夫鏈的異常檢測(cè)技術(shù)研究[J];科技信息(學(xué)術(shù)研究);2008年24期

3 苗強(qiáng);周興社;倪紅波;張桂英;周珊丹;;基于行為規(guī)律的異常檢測(cè)技術(shù)研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年15期

4 崔錫鑫;蘇偉;劉穎;;基于熵的流量分析和異常檢測(cè)技術(shù)研究與實(shí)現(xiàn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

5 金文進(jìn);楊武;;異常檢測(cè)技術(shù)研究綜述[J];軟件導(dǎo)刊;2008年01期

6 安景琦,劉貴全,錢權(quán);一種基于隱Markov模型的異常檢測(cè)技術(shù)[J];計(jì)算機(jī)應(yīng)用;2005年08期

7 胡亮;金剛;于漫;任斐;任維武;;基于異常檢測(cè)的入侵檢測(cè)技術(shù)[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2009年06期

8 高旭麟;;視頻監(jiān)控圖像異常檢測(cè)技術(shù)在安防行業(yè)中的應(yīng)用[J];中國(guó)公共安全;2013年12期

9 周彬彬;崔寶江;楊義先;;基于系統(tǒng)行為分析的異常檢測(cè)技術(shù)研究[J];電信科學(xué);2009年02期

10 張劍,龔儉;一種基于模糊綜合評(píng)判的入侵異常檢測(cè)方法[J];計(jì)算機(jī)研究與發(fā)展;2003年06期

相關(guān)會(huì)議論文 前1條

1 李涵;;一種改進(jìn)的聚類方法在異常檢測(cè)中的應(yīng)用[A];2010年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前2條

1 那罡;檢測(cè)異常網(wǎng)絡(luò) 阻擋DoS攻擊[N];中國(guó)計(jì)算機(jī)報(bào);2008年

2 ;千兆網(wǎng)絡(luò)的安全防護(hù)神[N];中國(guó)計(jì)算機(jī)報(bào);2003年

相關(guān)博士學(xué)位論文 前3條

1 林果園;基于主機(jī)行為的異常檢測(cè)技術(shù)研究[D];南京大學(xué);2011年

2 吳志忠;移動(dòng)設(shè)備及網(wǎng)絡(luò)的異常檢測(cè)方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

3 夏正敏;基于分形的網(wǎng)絡(luò)流量分析及異常檢測(cè)技術(shù)研究[D];上海交通大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 鐘圣唯;面向異常檢測(cè)的多源遙感影像融合技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 林旭;基于WEB訪問(wèn)日志的異常檢測(cè)技術(shù)研究[D];中國(guó)海洋大學(xué);2015年

3 楊斌;基于聚類的異常檢測(cè)技術(shù)的研究[D];中南大學(xué);2008年

4 朱義鑫;基于網(wǎng)絡(luò)的隱馬爾可夫異常檢測(cè)技術(shù)研究[D];新疆大學(xué);2005年

5 李斌;基于正常簡(jiǎn)檔聚類的自適應(yīng)異常檢測(cè)技術(shù)研究[D];中南大學(xué);2009年

6 楊宇舟;基于特征提取的聚類異常檢測(cè)技術(shù)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

7 王冬陽(yáng);面向云計(jì)算的異常檢測(cè)技術(shù)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2013年

8 宋歌;基于程序行為的異常檢測(cè)技術(shù)研究[D];西安電子科技大學(xué);2002年

9 乜聚虎;智能手機(jī)異常檢測(cè)技術(shù)研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

10 呂云潔;基于數(shù)據(jù)流的異常檢測(cè)技術(shù)及應(yīng)用的研究[D];華北電力大學(xué)（河北）;2008年

本文編號(hào)：2802467