隨著科學(xué)技術(shù)的進(jìn)步和寬帶業(yè)務(wù)的發(fā)展,光纖寬帶和機(jī)頂盒終端已經(jīng)到了千家萬(wàn)戶,網(wǎng)絡(luò)設(shè)備終端在提供快速網(wǎng)絡(luò)服務(wù)的同時(shí)也存在很多問(wèn)題,比如瞬間網(wǎng)絡(luò)掉線、點(diǎn)播視頻卡頓、不能上網(wǎng)等,由于現(xiàn)實(shí)環(huán)境中網(wǎng)絡(luò)鏈路極其復(fù)雜,并且不斷變化,對(duì)鏈路上設(shè)備的運(yùn)行狀態(tài)的監(jiān)控變得十分困難,依靠現(xiàn)有的告警監(jiān)控方式,已經(jīng)不能準(zhǔn)確定位問(wèn)題,為了清晰的監(jiān)控光網(wǎng)端到端設(shè)備網(wǎng)絡(luò)鏈路情況,準(zhǔn)確的定位故障問(wèn)題,縮短裝維人員的排障時(shí)間,提升用戶的滿意度。本論文從技術(shù)運(yùn)用的角度,以合理規(guī)劃海量數(shù)據(jù)的實(shí)時(shí)計(jì)算平臺(tái),提出一套完整的基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)的解決方案。本文首先介紹了寬帶發(fā)展的背景及課題研究的意義,然后參考國(guó)內(nèi)外對(duì)構(gòu)建實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)的經(jīng)驗(yàn),提出了基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)的設(shè)計(jì)方案,并通過(guò)對(duì)業(yè)務(wù)需求進(jìn)行分析,設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)資源管理系統(tǒng)中的計(jì)算層功能中的消息處理模塊、寬帶業(yè)務(wù)計(jì)算模塊、網(wǎng)絡(luò)資源拓?fù)淠K。為了快速展示當(dāng)前網(wǎng)絡(luò)鏈路的情況,本文依靠Redis內(nèi)存數(shù)據(jù)庫(kù)對(duì)設(shè)備終端的上下級(jí)關(guān)系進(jìn)行設(shè)計(jì)。最后,從功能測(cè)試、性能測(cè)試對(duì)本系統(tǒng)設(shè)計(jì)的模塊進(jìn)行全面測(cè)試,確保系統(tǒng)上線后能夠穩(wěn)定和高... 

【文章來(lái)源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Kafka基本架構(gòu)圖

電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文 第二章 相關(guān)背景知識(shí)介SparkStreaming 實(shí)時(shí)計(jì)算技術(shù)時(shí)計(jì)算一般都是針對(duì)海量數(shù)據(jù)進(jìn)行的，一般要求為秒級(jí)，SparkStreaming 是基于 Sp基礎(chǔ)之上用于處理實(shí)時(shí)計(jì)算業(yè)務(wù)的框架。其實(shí)現(xiàn)就是把輸入的流數(shù)據(jù)進(jìn)行按時(shí)間切分?jǐn)?shù)據(jù)塊用離線批處理的方式進(jìn)行并行計(jì)算處理，原理如下圖。

Core 基礎(chǔ)之上用于處理實(shí)時(shí)計(jì)算業(yè)務(wù)的框架。其實(shí)現(xiàn)就是把輸入的流數(shù)據(jù)進(jìn)行按時(shí)間切分，切分的數(shù)據(jù)塊用離線批處理的方式進(jìn)行并行計(jì)算處理，原理如下圖。圖 2.2 SparkStreaming 數(shù)據(jù)處理數(shù)據(jù)流圖如圖 2.2 所示，輸入的數(shù)據(jù)流經(jīng)過(guò) SparkStreaming 的接收器，以時(shí)間為單位將數(shù)據(jù)流切分成離散的數(shù)據(jù)單元，并將每批數(shù)據(jù)作為 RDD 的數(shù)據(jù)集合，使用操作算子進(jìn)行處理，最終結(jié)果以 RDD 為單位返回。DStream 是 SparkStreaming 中流數(shù)據(jù) RDD 的邏輯抽象，DStream 由SparkEngine 處理引擎處理，按批次生成最后的結(jié)果流。簡(jiǎn)言之，Spark Streaming 就是把數(shù)據(jù)按時(shí)間切分，并對(duì)時(shí)間片內(nèi)的數(shù)據(jù)集進(jìn)行多線程分布式計(jì)算。DStream 作為流處理邏輯對(duì)象，通過(guò) DStream 創(chuàng)建 RDD 的原理如下。如圖 2.3 所示。


本文編號(hào)：3304482