隨著城市軌道交通規(guī)模不斷擴(kuò)大以及信息化水平的提升,售檢票工作自動(dòng)化程度越來(lái)越高,日益增加的交易量和用戶量使得自動(dòng)售檢票(AFC)系統(tǒng)實(shí)時(shí)產(chǎn)生的數(shù)據(jù)量急劇增加,傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫(kù)的存儲(chǔ)模式和處理方法已無(wú)法滿足海量數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)數(shù)據(jù)處理的需求,迫切需要對(duì)運(yùn)行和管理方式進(jìn)行提升和優(yōu)化。近年來(lái),隨著云計(jì)算和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,如何將大數(shù)據(jù)技術(shù)靈活應(yīng)用于行業(yè)受到了廣泛關(guān)注。本文對(duì)現(xiàn)階段主流的大數(shù)據(jù)實(shí)時(shí)流處理和分布式存儲(chǔ)的原理、關(guān)鍵技術(shù)和相關(guān)應(yīng)用進(jìn)行了深入的研究和學(xué)習(xí),為AFC系統(tǒng)實(shí)時(shí)的數(shù)據(jù)接入、處理和存儲(chǔ)提供了一個(gè)良好的解決方案。本文在分析傳統(tǒng)城市軌道交通運(yùn)營(yíng)系統(tǒng)的存儲(chǔ)和計(jì)算瓶頸的基礎(chǔ)上,深入研究、學(xué)習(xí)了現(xiàn)有開(kāi)源的分布式存儲(chǔ)和實(shí)時(shí)計(jì)算框架,針對(duì)AFC系統(tǒng)實(shí)時(shí)數(shù)據(jù)特點(diǎn)和實(shí)際應(yīng)用需求,提出了利用大數(shù)據(jù)分布式技術(shù)處理AFC系統(tǒng)實(shí)時(shí)數(shù)據(jù)需要解決的問(wèn)題。由于在實(shí)際的開(kāi)發(fā)環(huán)境中不能影響原運(yùn)營(yíng)系統(tǒng)提供服務(wù),本文設(shè)計(jì)了基于Canal的數(shù)據(jù)接入和解析方案,將原存儲(chǔ)系統(tǒng)數(shù)據(jù)實(shí)時(shí)同步至大數(shù)據(jù)分布式環(huán)境,為后續(xù)實(shí)時(shí)處理提供流動(dòng)數(shù)據(jù)。針對(duì)原運(yùn)營(yíng)系統(tǒng)吞吐量小、實(shí)時(shí)性差的問(wèn)題,深入學(xué)習(xí)了 Kafka消息中間件和Spark...

【文章頁(yè)數(shù)】：86 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)介紹
    2.1 MySQL實(shí)時(shí)數(shù)據(jù)同步中間件
        2.1.1 MySQL復(fù)制機(jī)制
        2.1.2 實(shí)時(shí)數(shù)據(jù)同步中間件
    2.2 Kafka消息中間件
    2.3 Spark計(jì)算框架
        2.3.1 Spark簡(jiǎn)介
        2.3.2 Spark Streaming簡(jiǎn)介
    2.4 HBase數(shù)據(jù)庫(kù)
    2.5 Redis數(shù)據(jù)庫(kù)
第3章 AFC實(shí)時(shí)數(shù)據(jù)處理需求分析及軟件框架設(shè)計(jì)
    3.1 需求分析
        3.1.1 原運(yùn)營(yíng)系統(tǒng)存在的問(wèn)題
        3.1.2 AFC系統(tǒng)實(shí)時(shí)數(shù)據(jù)特點(diǎn)
        3.1.3 功能需求
    3.2 總體架構(gòu)設(shè)計(jì)
    3.3 本章小結(jié)
第4章 基于Canal的數(shù)據(jù)接入
    4.1 數(shù)據(jù)接入模塊分析
        4.1.1 Binlog接收子模塊
        4.1.2 數(shù)據(jù)抽取和發(fā)送子模塊
    4.2 數(shù)據(jù)接入模塊的詳細(xì)設(shè)計(jì)
    4.3 環(huán)境搭建與測(cè)試
        4.3.1 測(cè)試環(huán)境配置
        4.3.2 功能測(cè)試
        4.3.3 性能測(cè)試
    4.4 本章小結(jié)
第5章 基于Spark Streaming的數(shù)據(jù)處理
    5.1 數(shù)據(jù)處理流程分析
    5.2 數(shù)據(jù)處理的詳細(xì)設(shè)計(jì)
        5.2.1 數(shù)據(jù)整合模塊
        5.2.2 數(shù)據(jù)管理工具模塊
    5.3 數(shù)據(jù)處理模塊的實(shí)現(xiàn)
        5.3.1 交易量統(tǒng)計(jì)
        5.3.2 設(shè)備離線分析
        5.3.3 運(yùn)行效果
    5.4 性能優(yōu)化與測(cè)試
        5.4.1 算子性能分析
        5.4.2 并行度優(yōu)化
        5.4.3 負(fù)載均衡
        5.4.4 性能測(cè)試
    5.5 本章小結(jié)
第6章 基于HBase的數(shù)據(jù)存儲(chǔ)
    6.1 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
        6.1.1 表結(jié)構(gòu)設(shè)計(jì)
        6.1.2 Rowkey設(shè)計(jì)
        6.1.3 預(yù)分區(qū)設(shè)計(jì)
    6.2 性能優(yōu)化
        6.2.1 Redis緩存策略
        6.2.2 參數(shù)配置調(diào)優(yōu)
    6.3 本章小結(jié)
第7章 總結(jié)與展望
    7.1 總結(jié)
    7.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果



本文編號(hào)：4040999