本文選題：流處理 + Spark　； 參考：《北京郵電大學(xué)》2017年碩士論文

【摘要】：計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使人類社會進(jìn)入大數(shù)據(jù)時代。隨著全球數(shù)據(jù)量的爆炸式增長,原先的單機(jī)處理模式已經(jīng)無法滿足海量數(shù)據(jù)的計算需求。另一方面,很多數(shù)據(jù)源,包括互聯(lián)網(wǎng)應(yīng)用、商業(yè)操作和科學(xué)儀器等,每天都在生成海量高速的數(shù)據(jù)流。“海量”是指數(shù)據(jù)規(guī)模龐大,“高速”是指數(shù)據(jù)的到達(dá)速度快。如何對這些海量高速的數(shù)據(jù)流進(jìn)行實時處理,開始引起人們的廣泛關(guān)注。數(shù)據(jù)量的爆炸式增長和海量高速數(shù)據(jù)流的實時處理需求,催生了一批通用流式數(shù)據(jù)處理平臺,同時向它們提出了挑戰(zhàn):流式數(shù)據(jù)處理平臺不僅要支持傳統(tǒng)數(shù)據(jù)處理的集群擴(kuò)展,還需要提供對海量數(shù)據(jù)流實時處理的支持。本文在深入調(diào)研并分析流式數(shù)據(jù)處理技術(shù)和典型流式數(shù)據(jù)處理平臺的基礎(chǔ)上,著眼于網(wǎng)管系統(tǒng)中的告警數(shù)據(jù)處理需求:當(dāng)網(wǎng)管系統(tǒng)中的被管設(shè)備發(fā)生異常時,會向SNMP管理站發(fā)送告警信息。在網(wǎng)絡(luò)規(guī)模龐大、被管設(shè)備較多的情況下,管理站需要對海量高速的告警數(shù)據(jù)流進(jìn)行去重、波動性過濾等處理,以便減少告警數(shù)量,幫助網(wǎng)絡(luò)管理員快速定位設(shè)備問題。本文的主要工作包括:1.調(diào)研并剖析流式數(shù)據(jù)處理技術(shù)和流式數(shù)據(jù)處理平臺,重點分析了一些典型的流式數(shù)據(jù)處理平臺。針對流式數(shù)據(jù)處理平臺,剖析了其架構(gòu)、關(guān)鍵技術(shù)、消息處理機(jī)制和數(shù)據(jù)處理引擎�；谇笆龅囊话阈愿拍詈图夹g(shù),進(jìn)一步對Storm、S4、Spark Streaming等典型的流式數(shù)據(jù)處理平臺進(jìn)行深入分析。2.分析并指出網(wǎng)管系統(tǒng)中告警數(shù)據(jù)實時處理的難點。在對簡單網(wǎng)絡(luò)管理協(xié)議及SNMP Trap報文格式進(jìn)行調(diào)研的基礎(chǔ)上,分析了網(wǎng)管系統(tǒng)中告警數(shù)據(jù)的處理需求,并指出傳統(tǒng)的數(shù)據(jù)庫處理方法存在的問題。最后,結(jié)合網(wǎng)管系統(tǒng)中的告警數(shù)據(jù)處理需求,對重復(fù)告警和閃斷告警做出詳細(xì)定義,并進(jìn)一步定義了跨時間窗的重復(fù)告警和閃斷告警。3.提出了基于Spark Streaming的重復(fù)告警過濾算法和跨時間窗的重復(fù)告警過濾算法�；谇笆鲋貜�(fù)告警和跨時間窗重復(fù)告警的定義,設(shè)計并實現(xiàn)了基于Spark Streaming的重復(fù)告警過濾算法和跨時間窗的重復(fù)告警過濾算法。最后,在集群環(huán)境中對算法進(jìn)行了充分的實驗,驗證了算法的可行性,并對算法的時延和吞吐量作出評估。4.提出了基于Spark Streaming的閃斷告警過濾算法和跨時間窗的閃斷告警過濾算法�；谇笆鲩W斷告警和跨時間窗閃斷告警的定義,設(shè)計并實現(xiàn)了基于Spark Streaming的閃斷告警過濾算法和跨時間窗的閃斷告警過濾算法。最后,在集群環(huán)境中對算法進(jìn)行了充分的實驗,驗證了算法的可行性,并對算法的時延和吞吐量作出評估。5.將前述的告警過濾算法應(yīng)用到實際的網(wǎng)管系統(tǒng)中。結(jié)合具體的業(yè)務(wù)需求,設(shè)計并實現(xiàn)了 SNMP報文的接收與解析、數(shù)據(jù)庫表結(jié)構(gòu)和頁面展示邏輯,將告警過濾算法應(yīng)用到實際的網(wǎng)管系統(tǒng)中。本文深入調(diào)研流處理技術(shù)的研究現(xiàn)狀,分析通用流式數(shù)據(jù)處理平臺的架構(gòu)、關(guān)鍵技術(shù)和組件,結(jié)合網(wǎng)管系統(tǒng)中告警數(shù)據(jù)流的特點及處理需求,提供了告警過濾的方案設(shè)計和算法實現(xiàn)。因此,本文的研究工作及成果為網(wǎng)管系統(tǒng)的設(shè)計及應(yīng)用提供了新的思路,對流式數(shù)據(jù)處理平臺在傳統(tǒng)場景下的應(yīng)用有著重要的指導(dǎo)意義和參考價值。
[Abstract]:The rapid development of computer technology and network technology makes the human society enter the age of big data . With the explosion of global data volume , the original single - machine processing mode has not met the demand of mass data . On the other hand , many data sources , including Internet application , commercial operation and scientific instrument , generate massive high - speed data stream every day . This paper analyzes the processing requirement of alarm data in network management system based on the above - mentioned general concept and technology , and puts forward some challenges to the real - time processing of alarm data in network management system . Therefore , the research work and results of this paper provide a new idea for the design and application of the network management system , which has important guiding significance and reference value to the application of streaming data processing platform in the traditional scene .

【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP393.07

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張曉冰,孫韜;Browser/Server模式在網(wǎng)管系統(tǒng)中的應(yīng)用[J];山東通信技術(shù);2001年01期

2 尹群;;試論開發(fā)網(wǎng)管系統(tǒng)的思路和對策[J];科技進(jìn)步與對策;2003年04期

3 董海軍;網(wǎng)管系統(tǒng)——電信運營的重要基石[J];通信世界;2003年31期

4 鄭叔芳 ,翟存榮 ,(亻兒)根琴 ,肖必寧 ,隆靖 ,馬俊;易爆液體微機(jī)測控管系統(tǒng)[J];測控技術(shù);1988年04期

5 郭紹義;網(wǎng)管系統(tǒng)[J];四川郵電技術(shù);1991年04期

6 宓冠泉;綜合的和面向服務(wù)的網(wǎng)管系統(tǒng)[J];郵電企業(yè)管理;1997年04期

7 趙莉;;網(wǎng)管系統(tǒng)在甘肅聯(lián)通的應(yīng)用及問題[J];甘肅科技;2006年03期

8 高鵬軍;發(fā)揮網(wǎng)管系統(tǒng)作用 加速維護(hù)改革進(jìn)程[J];湖北郵電技術(shù);1998年01期

9 陳磊;上海本地大用戶集中網(wǎng)管系統(tǒng)[J];電信快報;2000年08期

10 常成 ,孫玲;我們需要什么樣的網(wǎng)管系統(tǒng)?[J];軟件世界;2002年08期

相關(guān)會議論文 前10條

1 那濤;;全業(yè)務(wù)運營時代下山西聯(lián)通網(wǎng)管系統(tǒng)融合思路初探[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會論文集[C];2010年

2 那濤;;全業(yè)務(wù)運營時代下山西聯(lián)通網(wǎng)管系統(tǒng)融合初步探討[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2009年年會論文集（上冊）[C];2009年

3 王軍有;;自力更生 化繁為簡 改造網(wǎng)管系統(tǒng)[A];河南省通信學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

4 李杰星;;基于移動互聯(lián)網(wǎng)的直放站網(wǎng)管系統(tǒng)[A];《IT時代周刊》論文專版（第296期）[C];2014年

5 魏宏;胡明;龍志勇;孟洛明;;利用CORBA新技術(shù)特性改進(jìn)網(wǎng)管系統(tǒng)[A];第六屆全國計算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

6 赫宏彬;;湖北省網(wǎng)擴(kuò)容網(wǎng)管系統(tǒng)及DCN網(wǎng)絡(luò)安全性的補(bǔ)充與完善[A];全國第十一次光纖通信暨第十二屆集成光學(xué)學(xué)術(shù)會議（OFCIO’2003）論文集[C];2003年

7 周洛馨;;N2000網(wǎng)管系統(tǒng)的維護(hù)[A];海南省通信學(xué)會學(xué)術(shù)年會論文集（2006）[C];2006年

8 萬琦;;AIS技術(shù)在廣州交管系統(tǒng)中的應(yīng)用[A];中國航海學(xué)會船舶機(jī)電與通信導(dǎo)航專業(yè)委員會2002年學(xué)術(shù)年會論文集（通信導(dǎo)航分冊）[C];2002年

9 趙勇;高鳳榮;邢春曉;;基于用戶權(quán)威的協(xié)作過濾算法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

10 陳其豐;;NetCare客戶網(wǎng)管系統(tǒng)本地NOC平臺建設(shè)[A];海南省通信學(xué)會學(xué)術(shù)年會論文集（2006）[C];2006年

相關(guān)重要報紙文章 前10條

1 記者　 孫梅芳 實習(xí)生 殷斐 通訊員　 楊新興;市房管系統(tǒng)推出系列服務(wù)項目[N];洛陽日報;2006年

2 記者 劉杰;全市運管系統(tǒng)探索建立群眾評價投訴機(jī)制[N];運城日報;2014年

3 記者 王福祥;市城管系統(tǒng)：著力做實六個方面工作[N];唐山勞動日報;2007年

4 通訊員 俞佳;市城管系統(tǒng)扎實開展干部大走訪[N];泰州日報;2010年

5 本報記者 龍蓉;全區(qū)運管系統(tǒng)自我增壓提升素質(zhì)[N];銅仁日報;2010年

6 記者 朱衛(wèi)民　通訊員 黃中付;全市運管系統(tǒng)開展民主評議政風(fēng)行風(fēng)活動[N];黃岡日報;2010年

7 本報記者 陳智通;第一是怎么得來的[N];中國交通報;2001年

8 中訊公司供稿;電話網(wǎng)網(wǎng)管系統(tǒng)讓“管理”問題迎刃而解[N];計算機(jī)世界;2002年

9 ;如何打造未來網(wǎng)管系統(tǒng)[N];通信產(chǎn)業(yè)報;2003年

10 大唐電信 董海軍;網(wǎng)管系統(tǒng)———電信運營的重要基石[N];通信產(chǎn)業(yè)報;2003年

相關(guān)博士學(xué)位論文 前4條

1 楊超;非恒定流充液管系統(tǒng)耦合振動特性及振動抑制[D];華中科技大學(xué);2007年

2 陸宏亮;賽博—物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2016年

3 張亮;推薦系統(tǒng)中協(xié)同過濾算法若干問題的研究[D];北京郵電大學(xué);2009年

4 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 段雪巖;流處理技術(shù)在網(wǎng)管系統(tǒng)中的應(yīng)用[D];北京郵電大學(xué);2017年

2 鄭方平;基于Web Service中心網(wǎng)管系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江工業(yè)大學(xué);2014年

3 陳以淮;基于Ice無線集群網(wǎng)管系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江工業(yè)大學(xué);2014年

4 郭行洲;寧夏鐵通XPON網(wǎng)管系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2016年

5 房靜;基于雙因素理論的Z市城管系統(tǒng)勞務(wù)派遣人員激勵機(jī)制研究[D];云南師范大學(xué);2016年

6 陳希;基于PTN網(wǎng)管的EMS層研究與實現(xiàn)[D];武漢理工大學(xué);2015年

7 薛文龍;PTN網(wǎng)管系統(tǒng)中OAM機(jī)制的研究與實現(xiàn)[D];武漢理工大學(xué);2015年

8 汪祥波;PTN網(wǎng)管中雙歸保護(hù)機(jī)制的研究與實現(xiàn)[D];武漢理工大學(xué);2015年

9 劉念東;中國聯(lián)通國際交換網(wǎng)管系統(tǒng)建設(shè)與實現(xiàn)[D];北京郵電大學(xué);2011年

10 王永剛;某省級數(shù)據(jù)網(wǎng)網(wǎng)管系統(tǒng)二期工程可行性研究[D];北京郵電大學(xué);2010年

，

本文編號：1817708