隨著我國互聯(lián)網(wǎng)的飛速發(fā)展,國民經(jīng)濟與互聯(lián)網(wǎng)技術革新的聯(lián)系愈發(fā)緊密�；ヂ�(lián)網(wǎng)服務客戶數(shù)量每年不斷攀升,接入互聯(lián)網(wǎng)的各類終端設備不斷增加,越來越多的企業(yè)開始依托互聯(lián)網(wǎng)進行業(yè)務擴展。由各類數(shù)據(jù)終端產(chǎn)生的海量數(shù)據(jù)而衍生出的應用如客戶行為跟蹤、輿情分析、廣告投放等,具有高昂的商業(yè)價值與科研價值。然而這些數(shù)據(jù)因其容量大、產(chǎn)生速度快、種類繁多及跨地域等特點而使得它們對采集與傳輸技術水平的要求極高,成為了科研工作者的難題。大數(shù)據(jù)采集和在廣域網(wǎng)內(nèi)的有效傳輸是大數(shù)據(jù)應用的基礎,也是大數(shù)據(jù)分析處理的基礎,系統(tǒng)需要根據(jù)該應用場景進行針對性設計。本文首先介紹了大數(shù)據(jù)傳輸中消息隊列技術與負載均衡技術的背景知識,詳細說明了數(shù)據(jù)采集與傳輸系統(tǒng)的架構(gòu),對系統(tǒng)中涉及到的相關技術,如分布式協(xié)調(diào)技術、存儲技術等進行了詳細的介紹,在此背景下提出了消息隊列優(yōu)化方案;其次,對文件服務器集群中負載均衡關鍵技術進行探究,經(jīng)過對于傳統(tǒng)負載均衡算法優(yōu)劣分析,設計了一種嶄新的動態(tài)負載均衡算法,解決了傳統(tǒng)算法在異構(gòu)集群表現(xiàn)不佳,對實時負載變化敏感度不足的問題。最后,對文中提出的方案就負載效果、數(shù)據(jù)實時性效果方面與傳統(tǒng)數(shù)據(jù)傳輸方案中相對應技術進行了對比實驗。
【學位單位】：北京郵電大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP311.13;TP393.06
【部分圖文】：

?探針設備??圖２－１海量數(shù)據(jù)采集與傳輸系統(tǒng)架構(gòu)圖??如圖２－１所示，數(shù)據(jù)采集與傳輸系統(tǒng)為四層結(jié)構(gòu)系統(tǒng)，其層次結(jié)構(gòu)包括數(shù)據(jù)??采集層、傳輸層、數(shù)據(jù)存儲與預處理層、業(yè)務處理層。本文根據(jù)其在實際業(yè)務場??景中的應用對各層次功能進行闡述。??２．２＿１采集層??在數(shù)據(jù)采集層，采用專用的硬件探針設備，該硬件探針設備為ＭＩＰＳ??７??

名稱從０開始，之后每一個Ｓｅｇｍｅｎｔ文件命名為上一個Ｓｅｇｍｅｎｔ文件最后一條消??息的ｏｆｆｓｅｔ。這種稀疏索引方式有效降低了對存儲空間的需求。Ｋａｆｋａ磁盤存儲??結(jié)構(gòu)如圖３－２所示。??１４??

??—＾??圖３－１?Ｋａｆｋａ數(shù)據(jù)寫入過程??３．２．２數(shù)據(jù)管理技術??消息隊列需要保證流式數(shù)據(jù)的ＦＩＦＯ特性，并且大數(shù)據(jù)技術桟中的并發(fā)計算??方式同樣需要分區(qū)內(nèi)數(shù)據(jù)可以高速有序讀取，因此必要的數(shù)據(jù)管理機制具有重大??意義。??Ｋａ＆ａ存儲邏輯中，通過數(shù)據(jù)分區(qū)及消息標識Ｏｆｆｓｅｔ機制進行數(shù)據(jù)管理。??Ｋａｆｋａ中每個Ｔｏｐｉｃ劃分為一組互相獨立的分區(qū)，這些分區(qū)的語義由數(shù)據(jù)生產(chǎn)者??客戶端Ｐｒｏｄｕｃｅｒ定義，并且Ｐｒｏｄｕｃｅｒ指定每條消息存儲于哪個分區(qū)內(nèi)。Ｐｒｏｄｕｃｅｒ??端上傳數(shù)據(jù)時，己經(jīng)將每條Ｍｅｓｓａｇｅ按照一定的分區(qū)函數(shù)劃分到分區(qū)相應的隊列??中，隊列中數(shù)據(jù)按批次上傳至Ｋａ＆ａ集群。這種處理方式確保了不需要為每一條??數(shù)據(jù)存儲一條元數(shù)據(jù)
【相似文獻】

相關期刊論文 前10條

1 邰宇;;基于海量數(shù)據(jù)消息隊列的性能比較及其優(yōu)化[J];科技傳播;2018年03期

2 胡志輝;牛德雄;許國慶;;消息隊列管理在信息交換中的研究[J];計算機與現(xiàn)代化;2009年01期

3 鄧波;防止消息隊列阻塞的辦法[J];華南金融電腦;2003年06期

4 肖翼翔,萬慶萱,王長年,蘇厚勒;基于消息隊列機制的中間件及其在一卡通項目中的應用[J];微型電腦應用;2000年07期

5 沈華峰;;如何實現(xiàn)進程通信的程序設計——消息隊列方法[J];上海微型計算機;1998年16期

6 逄煥眾;用于進程間通信的消息隊列探討[J];中國金融電腦;1998年08期

7 王穎;李立新;黃偉健;;基于消息隊列的數(shù)據(jù)庫并發(fā)服務器的實現(xiàn)[J];微計算機信息;2006年03期

8 周世杰;劉錦德;秦志光;;消息隊列技術研究:綜述與一個實例[J];計算機科學;2002年02期

9 張英輝;;消息隊列技術在短信通信中的應用[J];中小企業(yè)管理與科技(上旬刊);2013年03期

10 穆榮均;;消息隊列漫談[J];程序員;2010年11期

相關博士學位論文 前2條

1 盧本捷;分布式消息隊列的理論、實現(xiàn)與應用[D];華中科技大學;2004年

2 苑洪亮;基于內(nèi)容的“發(fā)布/訂閱”若干關鍵技術研究[D];國防科學技術大學;2006年

相關碩士學位論文 前10條

1 侯偉光;互聯(lián)網(wǎng)海量流量信息采集與傳輸關鍵技術的研究與實現(xiàn)[D];北京郵電大學;2019年

2 朱輝輝;高并發(fā)電商評論系統(tǒng)的設計與實現(xiàn)[D];南京大學;2019年

3 高凡;消息隊列技術在車聯(lián)網(wǎng)綜合信息平臺系統(tǒng)的應用研究[D];湖北大學;2018年

4 解曉鵬;云聯(lián)絡系統(tǒng)中基于消息隊列的分布式網(wǎng)關的研究與應用[D];西安電子科技大學;2018年

5 李斌超;基于消息隊列的iSIGHT模型文件管理系統(tǒng)的設計與實現(xiàn)[D];北京工業(yè)大學;2018年

6 方文權(quán);基于視頻信息的情緒感知系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2018年

7 韓旭;螞蟻金服消息隊列運維平臺的設計與實現(xiàn)[D];南京大學;2018年

8 于閣;基于消息隊列引擎的智能家居移動控制系統(tǒng)的研究與設計[D];吉林大學;2018年

9 丁屹峰;農(nóng)信系統(tǒng)的短信平臺設計與實現(xiàn)[D];東南大學;2018年

10 王鄭合;基于Kafka的消息隊列在射天文數(shù)據(jù)處理中應用的研究[D];昆明理工大學;2017年

本文編號：2854963