【摘要】：隨著計(jì)算機(jī)科學(xué)和網(wǎng)絡(luò)技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)的開(kāi)放性和共享性等優(yōu)點(diǎn)越來(lái)越明顯,網(wǎng)絡(luò)信息技術(shù)被運(yùn)用到諸多領(lǐng)域,應(yīng)用范圍遍及世界每個(gè)角落的政治、經(jīng)濟(jì)、金融、教育和軍事等領(lǐng)域。由于計(jì)算機(jī)及網(wǎng)絡(luò)的脆弱性、網(wǎng)絡(luò)協(xié)議的缺陷和隱藏的安全漏洞,給網(wǎng)絡(luò)安全帶來(lái)極大威脅。網(wǎng)絡(luò)流量數(shù)據(jù)和網(wǎng)絡(luò)日志蘊(yùn)含著豐富的有價(jià)值信息,在用戶(hù)行為分析、上網(wǎng)行為管理、入侵檢測(cè)和網(wǎng)絡(luò)管理等許多領(lǐng)域具有非常高的價(jià)值,最初的網(wǎng)絡(luò)數(shù)據(jù)處理方式是使用單臺(tái)計(jì)算機(jī)對(duì)數(shù)據(jù)進(jìn)行計(jì)算分析,單臺(tái)處理設(shè)備在CPU、I/O與存儲(chǔ)方面的性能受到硬件當(dāng)時(shí)硬件發(fā)展水平的限制且沒(méi)有擴(kuò)展性。面對(duì)當(dāng)今高速發(fā)展的高性能硬件設(shè)備,導(dǎo)致系統(tǒng)產(chǎn)生數(shù)據(jù)量和網(wǎng)絡(luò)中傳輸?shù)牧髁砍尸F(xiàn)幾何級(jí)數(shù)級(jí)別增加,傳統(tǒng)檢測(cè)方法無(wú)法滿(mǎn)足大規(guī)模數(shù)據(jù)分析對(duì)時(shí)間和效率的要求,在實(shí)際應(yīng)用中對(duì)數(shù)據(jù)分析的處理時(shí)間要求越來(lái)越高,具備高吞吐和低時(shí)延的并行計(jì)算成為了數(shù)據(jù)處理的重要指標(biāo),分布式異常檢測(cè)的研究成為異常檢測(cè)研究領(lǐng)域的新風(fēng)向標(biāo)。針對(duì)網(wǎng)絡(luò)安全形勢(shì)日趨嚴(yán)峻和海量網(wǎng)絡(luò)數(shù)據(jù)快速增長(zhǎng)的背景下,本文設(shè)計(jì)并實(shí)現(xiàn)基于云計(jì)算的分布式異常網(wǎng)絡(luò)流量檢測(cè)的實(shí)驗(yàn),通過(guò)云計(jì)算對(duì)大規(guī)模數(shù)據(jù)的存儲(chǔ)和計(jì)算能力,解決入侵檢測(cè)、網(wǎng)絡(luò)流量分析及日志數(shù)據(jù)的采集、存儲(chǔ)和分析面臨的主要瓶頸問(wèn)題,運(yùn)用Hadoop的MapReduce分布式并行計(jì)算模型,能夠高效和可靠地并行處理大規(guī)模數(shù)據(jù)集。本文有關(guān)網(wǎng)絡(luò)異常流量分布式檢測(cè)的主要研究?jī)?nèi)容如下:(1)分布式異常檢測(cè)平臺(tái)架構(gòu)研究通過(guò)需求分析完成分布式入侵檢測(cè)平臺(tái)架構(gòu)設(shè)計(jì),整體架構(gòu)分為網(wǎng)絡(luò)采集、分布式存儲(chǔ)和異常檢測(cè)分析三個(gè)層次,按照需求完成網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)異常檢測(cè)的實(shí)驗(yàn)環(huán)境的搭建,通過(guò)訓(xùn)練樣本訓(xùn)練建立異常檢測(cè)模型,使用歷史特征形成特征異常檢測(cè)特征庫(kù),可以提高異常檢測(cè)系統(tǒng)的數(shù)據(jù)處理能力,提高檢測(cè)效率和檢測(cè)準(zhǔn)確率,可以擴(kuò)展系統(tǒng)的學(xué)習(xí)能力挖掘分析更深層次的信息。(2)網(wǎng)絡(luò)數(shù)據(jù)采集和網(wǎng)絡(luò)日志收集研究采用Flume從多源前端服務(wù)器中采集日志和告警信息等網(wǎng)絡(luò)日志數(shù)據(jù)存儲(chǔ)到HDFS分布式文件系統(tǒng)中,使用Sniffer技術(shù)采集網(wǎng)絡(luò)流量并對(duì)網(wǎng)絡(luò)流量進(jìn)行特征提取,采集端運(yùn)用WinPcap與LibPcap采集網(wǎng)絡(luò)數(shù)據(jù),實(shí)現(xiàn)會(huì)話(huà)連接重構(gòu)方式提取網(wǎng)絡(luò)流量并存儲(chǔ)特征值,將KDD99格式特征數(shù)據(jù)傳送到分析處理系統(tǒng)的HDFS文件系統(tǒng)中,對(duì)入侵告警信息進(jìn)行相關(guān)性融合分析。(3)數(shù)據(jù)分析算法研究將模糊C-均值聚類(lèi)算法、詞匯分割分類(lèi)算法和統(tǒng)計(jì)學(xué)方法應(yīng)用到采集的網(wǎng)絡(luò)流量和網(wǎng)絡(luò)日志數(shù)據(jù),驗(yàn)證算法的可行性和檢驗(yàn)分析結(jié)果的準(zhǔn)確率。通過(guò)預(yù)處理網(wǎng)絡(luò)數(shù)據(jù)和使用基于網(wǎng)絡(luò)流量相關(guān)性的模糊C-均值聚類(lèi)算法完成聚類(lèi)分析,提出網(wǎng)絡(luò)流量相關(guān)性四關(guān)鍵要素和基于權(quán)值的目標(biāo)函數(shù)計(jì)算方法,從訓(xùn)練樣本數(shù)據(jù)獲取聚類(lèi)簇中心值和聚類(lèi)類(lèi)型,使用異常方差統(tǒng)計(jì)的方法,檢測(cè)分布式拒絕服務(wù)攻擊行為,并構(gòu)建歷史特征庫(kù)滿(mǎn)足對(duì)未來(lái)數(shù)據(jù)快速分析的需求。(4)基于分布式的網(wǎng)絡(luò)異常檢測(cè)研究將機(jī)器學(xué)習(xí)算法和MapReduce分布式計(jì)算模型結(jié)合在Hadoop平臺(tái)上進(jìn)行并行化處理,將存儲(chǔ)在HDFS分布式文件系統(tǒng)中網(wǎng)絡(luò)采集數(shù)據(jù)、日志和告警信息,采用MapReduce和Flume等分布式計(jì)算技術(shù)完成分布式異常檢測(cè)實(shí)驗(yàn)、融合告警信息,通過(guò)聚類(lèi)算法和分類(lèi)算法深入挖掘數(shù)據(jù)中的異常信息和異常網(wǎng)絡(luò)流量,對(duì)分布式異常檢測(cè)的時(shí)間效率、準(zhǔn)確率、漏報(bào)率和誤報(bào)率進(jìn)行了分析。綜上所述,本論文構(gòu)建的網(wǎng)絡(luò)異常流量分析實(shí)驗(yàn)有效地解決了網(wǎng)絡(luò)數(shù)據(jù)的采集、存儲(chǔ)與異常分析等問(wèn)題,融合了Hadoop與數(shù)據(jù)挖掘各自的優(yōu)勢(shì),充分發(fā)揮了Hadoop分布式計(jì)算框架的高擴(kuò)展性和高吞吐性等特性,利用數(shù)據(jù)挖掘算法深入檢測(cè)網(wǎng)絡(luò)事件中的異常信息,形成一整套比較完整且準(zhǔn)確度較高的采集、存儲(chǔ)、分析和特征建立過(guò)程。
【圖文】：

乏安全意識(shí)和管理不善，，導(dǎo)致企業(yè) APT 攻擊的發(fā)生；信息泄漏。敏感數(shù)據(jù)在存儲(chǔ)和傳輸中有意或無(wú)意中泄漏給非授權(quán)人員。用電磁泄漏、嗅探或網(wǎng)絡(luò)攻擊等手段獲取目標(biāo)主機(jī)上的數(shù)據(jù)；非授權(quán)訪(fǎng)問(wèn)。通過(guò)躲避系統(tǒng)訪(fǎng)問(wèn)控制機(jī)制、身份冒充或越權(quán)訪(fǎng)問(wèn)等方式訪(fǎng)問(wèn)非授權(quán)訪(fǎng)問(wèn)的使用計(jì)算機(jī)網(wǎng)絡(luò)資源；拒絕服務(wù)攻擊。通過(guò)對(duì)網(wǎng)絡(luò)服務(wù)系統(tǒng)發(fā)起非正常的網(wǎng)絡(luò)流量，導(dǎo)致目標(biāo)服務(wù)或?qū)е驴捎觅Y源減少而合法用戶(hù)無(wú)法得到服務(wù)；破壞數(shù)據(jù)完整性。以非法方式獲取對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)權(quán)，通過(guò)篡改、刪除、方式， 以達(dá)到攻擊者修改或破壞數(shù)據(jù)的目的；）網(wǎng)絡(luò)傳播病毒。利用系統(tǒng)和網(wǎng)絡(luò)漏洞制作惡意程序，通過(guò)網(wǎng)絡(luò)或移動(dòng)介實(shí)現(xiàn)破壞數(shù)據(jù)、竊取數(shù)據(jù)、挖礦、控制目標(biāo)主機(jī)和構(gòu)建僵尸網(wǎng)絡(luò)等目的。中國(guó)國(guó)家信息安全漏洞共享平臺(tái)統(tǒng)計(jì) 2016 年收錄 14968 個(gè)漏洞，如圖 1-ommon Vulnerabilities and Exposures 公布和收錄的網(wǎng)絡(luò)安全漏洞呈現(xiàn)逐年遞是安全漏洞創(chuàng)紀(jì)錄的一年，如圖 1-2 所示；而 exploit-db 每年都有大量新公布，收錄的漏洞攻擊程序的總數(shù)量在持續(xù)增長(zhǎng)，如圖 1-3 所示，這些漏擊程序的泄露，給網(wǎng)絡(luò)安全帶來(lái)嚴(yán)重威脅。

第 1 章 緒論0 個(gè)漏洞以上；2、比上一年的增速數(shù)量和增速非常快，增速超過(guò)了 1/3披露組織表示，2017 年將是網(wǎng)絡(luò)安全的漏洞爆發(fā)年，這一年成為有史多和漏洞增速破紀(jì)錄的一年[5]。
【學(xué)位授予單位】：西南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP393.06

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 羅梓露;方勇;;基于Hadoop的DDoS檢測(cè)框架[J];信息安全研究;2015年03期

2 韋瑋;;英國(guó)BAE公司預(yù)測(cè)2015年網(wǎng)絡(luò)安全五大發(fā)展趨勢(shì)[J];防務(wù)視點(diǎn);2015年03期

3 吳建勝;張文鵬;馬垣;;KDDCUP99數(shù)據(jù)集的數(shù)據(jù)分析研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年11期

4 張川;鄧珍榮;鄧星;黃文明;;基于Chukwa的大規(guī)模日志智能監(jiān)測(cè)收集方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年09期

5 楊鋒英;劉會(huì)超;;基于Hadoop的在線(xiàn)網(wǎng)絡(luò)日志分析系統(tǒng)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年08期

6 郝璇;;基于Apache Flume的分布式日志收集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];軟件導(dǎo)刊;2014年07期

7 林利;石文昌;;構(gòu)建云計(jì)算平臺(tái)的開(kāi)源軟件綜述[J];計(jì)算機(jī)科學(xué);2012年11期

8 王進(jìn);陽(yáng)小龍;隆克平;;基于大偏差統(tǒng)計(jì)模型的Http-Flood DDoS檢測(cè)機(jī)制及性能分析[J];軟件學(xué)報(bào);2012年05期

9 王千;王成;馮振元;葉金鳳;;K-means聚類(lèi)算法研究綜述[J];電子設(shè)計(jì)工程;2012年07期

10 向培素;;聚類(lèi)算法綜述[J];西南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年S1期

本文編號(hào)：2627242