隨著我國(guó)北斗衛(wèi)星建設(shè)事業(yè)的發(fā)展,國(guó)家組織相關(guān)部門研制了北斗地基增強(qiáng)系統(tǒng),并在全國(guó)各地陸續(xù)建設(shè)國(guó)家框架網(wǎng)基準(zhǔn)站與衛(wèi)星直接通信,接收原始數(shù)據(jù)。作為北斗地基增強(qiáng)系統(tǒng)的分系統(tǒng)某數(shù)據(jù)管理系統(tǒng)的增強(qiáng)備份中心,備份系統(tǒng)與數(shù)據(jù)管理系統(tǒng)保持同步,均會(huì)接收基準(zhǔn)站的原始數(shù)據(jù),然后進(jìn)行標(biāo)準(zhǔn)化處理。隨著基準(zhǔn)站數(shù)量不斷增多,實(shí)時(shí)流數(shù)據(jù)規(guī)模也越來越大,原有的單機(jī)多線程的處理方案無法滿足對(duì)原始流數(shù)據(jù)的實(shí)時(shí)處理需求,因此需要在備份系統(tǒng)中研究實(shí)現(xiàn)對(duì)基準(zhǔn)站實(shí)時(shí)流數(shù)據(jù)的高并發(fā)處理方案。另外,當(dāng)數(shù)據(jù)管理系統(tǒng)不可用時(shí),在對(duì)用戶透明的情況下,備份系統(tǒng)需要替代數(shù)據(jù)管理系統(tǒng)對(duì)外提供服務(wù),最大限度地減輕數(shù)據(jù)管理系統(tǒng)單點(diǎn)故障帶來的影響,因此需要從對(duì)外提供服務(wù)的角度,研究實(shí)現(xiàn)整體系統(tǒng)的高可用方案。本文借助基于分布式的流數(shù)據(jù)處理、計(jì)算框架來實(shí)現(xiàn)數(shù)據(jù)高并發(fā)處理方案,通過使用Flume框架接收來自框架網(wǎng)基準(zhǔn)站的原始數(shù)據(jù),對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)包解析、時(shí)間轉(zhuǎn)換等預(yù)處理。然后通過基于ZooKeeper協(xié)調(diào)的分布式消息系統(tǒng)Kafka對(duì)Flume接收到的數(shù)據(jù)進(jìn)行緩沖來保證整個(gè)數(shù)據(jù)傳輸與處理過程平穩(wěn)銜接。使用Flink流處理計(jì)算框架消費(fèi)來自Kafka的數(shù)據(jù),根... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：87 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對(duì)照表
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外發(fā)展現(xiàn)狀
    1.3 論文工作內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)研究
    2.1 流處理計(jì)算框架Flink
        2.1.1 Flink架構(gòu)與數(shù)據(jù)流模型
        2.1.2 與流處理計(jì)算框架Spark Streaming及Sotrm的對(duì)比
    2.2 分布式日志收集系統(tǒng)Flume
    2.3 分布式消息系統(tǒng)Kafka
    2.4 Rsync算法
    2.5 文件系統(tǒng)監(jiān)控機(jī)制inotify
    2.6 本章小結(jié)
第三章 系統(tǒng)需求分析
    3.1 備份系統(tǒng)功能
    3.2 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理需求
    3.3 整體系統(tǒng)高可用需求
    3.4 本章小結(jié)
第四章 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理方案研究與實(shí)現(xiàn)
    4.1 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理方案架構(gòu)
    4.2 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理方案實(shí)現(xiàn)
        4.2.1 數(shù)據(jù)收集部分
        4.2.2 數(shù)據(jù)處理部分
    4.3 測(cè)試與驗(yàn)證
        4.3.1 實(shí)驗(yàn)環(huán)境搭建
        4.3.2 實(shí)驗(yàn)結(jié)果分析
    4.4 本章小結(jié)
第五章 整體系統(tǒng)高可用方案研究與實(shí)現(xiàn)
    5.1 遠(yuǎn)程文件同步方案
        5.1.1 遠(yuǎn)程文件高效同步算法的研究
        5.1.2 文件系統(tǒng)監(jiān)控機(jī)制的研究
        5.1.3 遠(yuǎn)程文件雙向同步方案
    5.2 服務(wù)系統(tǒng)切換方案
    5.3 測(cè)試與驗(yàn)證
        5.3.1 遠(yuǎn)程文件同步方案
        5.3.2 服務(wù)系統(tǒng)切換方案
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
作者簡(jiǎn)介


【參考文獻(xiàn)】：
期刊論文
[1]阿里巴巴的大數(shù)據(jù)之路JStorm與Blink的發(fā)展史[J]. 林琳.  計(jì)算機(jī)與網(wǎng)絡(luò). 2019(02)
[2]北斗地基增強(qiáng)系統(tǒng)標(biāo)準(zhǔn)體系的構(gòu)建[J]. 麥綠波,徐曉飛,梁昫,陳曉華.  中國(guó)標(biāo)準(zhǔn)化. 2016(14)
[3]北斗衛(wèi)星導(dǎo)航系統(tǒng)發(fā)展與應(yīng)用[J]. 吳海玲,高麗峰,汪陶勝,李作虎.  導(dǎo)航定位學(xué)報(bào). 2015(02)
[4]北斗觀測(cè)數(shù)據(jù)質(zhì)量檢測(cè)方法及其軟件實(shí)現(xiàn)[J]. 蘇行,何戰(zhàn)科,孔垚,孫保琪,楊旭海.  時(shí)間頻率學(xué)報(bào). 2014(04)
[5]新一代國(guó)際標(biāo)準(zhǔn)RTCM V3.2及其應(yīng)用[J]. 陳振,王權(quán),秘金鐘,谷守周,方書山,向常淦.  導(dǎo)航定位學(xué)報(bào). 2014(04)

碩士論文
[1]Ntrip差分?jǐn)?shù)據(jù)的標(biāo)準(zhǔn)化和可靠傳輸?shù)难芯颗c實(shí)現(xiàn)[D]. 李玲紅.西安電子科技大學(xué) 2018



本文編號(hào)：3188710