大數(shù)據(jù)的主要處理流程可以劃分為五個(gè)部分:數(shù)據(jù)的采集、數(shù)據(jù)的轉(zhuǎn)發(fā)、數(shù)據(jù)的處理、數(shù)據(jù)的存儲(chǔ)以及數(shù)據(jù)可視化。在這幾個(gè)核心步驟中,以Flume、Kafka、Flink為代表的流式計(jì)算平臺(tái)被業(yè)內(nèi)大規(guī)模的使用,并應(yīng)用到很多的生產(chǎn)環(huán)境中。盡管如此,不同的業(yè)務(wù)場(chǎng)景下這些相關(guān)的技術(shù)仍會(huì)存在各種各樣的問(wèn)題。本文以此為切入點(diǎn),對(duì)Flume、Kafka、Flink進(jìn)行針對(duì)性的優(yōu)化。首先,針對(duì)Flume需要運(yùn)行在客戶端服務(wù)器上,占用服務(wù)器資源,并且與寄主服務(wù)器存在資源競(jìng)爭(zhēng)關(guān)系的問(wèn)題,本文設(shè)計(jì)了一種基于非JVM進(jìn)程的消息收集系統(tǒng)。采用該系統(tǒng)替換傳統(tǒng)的Flume,可以有效減少Flume占用的客戶端服務(wù)器資源,并提高數(shù)據(jù)采集階段的性能。其次,針對(duì)將Kafka遷移到SSD并不能充分發(fā)揮閃存的特性的問(wèn)題,本文引入了一種基于新型閃存介質(zhì)Open Channel SSDs的機(jī)制來(lái)替換Kafka原有的持久化機(jī)制。該機(jī)制采用鍵值分離的思想來(lái)解決LSM樹(shù)（Log Structured Merge Tree）讀寫(xiě)放大的問(wèn)題,并將改進(jìn)后的LSM樹(shù)作為Kafka持久化的存儲(chǔ)引擎。針對(duì)LSM和Kakfa消息讀寫(xiě)的特點(diǎn),本文提出了基于LSM... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：91 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LSM樹(shù)

（1）通過(guò) B+樹(shù)實(shí)現(xiàn)，其優(yōu)點(diǎn)是查詢效率較高；缺點(diǎn)是 B+樹(shù)會(huì)產(chǎn)生大量IO，主要存在以下兩種情況：主鍵不是有序遞增的，導(dǎo)致每次插入數(shù)據(jù)產(chǎn)數(shù)據(jù)遷移和空間碎片；即使主鍵是有序遞增的，大量寫(xiě)請(qǐng)求的分布仍是隨（2）基于 Hash 表實(shí)現(xiàn)，例如 Redis，其優(yōu)點(diǎn)是在查詢方面表現(xiàn)的效率比較是當(dāng)出現(xiàn)大量 Hash 值碰撞的時(shí)候會(huì)導(dǎo)致性能的急劇下降[25];（3）基于 LSM 樹(shù)實(shí)現(xiàn)，核心思想就是放棄部分讀能力，換取寫(xiě)入的最大例如 levelDB，Hbase，優(yōu)點(diǎn)是寫(xiě)入性能很高，缺點(diǎn)是容易造成嚴(yán)重的寫(xiě)放能表現(xiàn)不佳。.3 LSM 樹(shù)的插入和壓縮過(guò)程大體思路是：插入一條新紀(jì)錄時(shí)，首先在日志文件中插入操作日志，以便使用，日志是以 append 形式插入，所以速度非�？�；將新紀(jì)錄的索引插中，這里在內(nèi)存中完成，不涉及磁盤 IO 操作；當(dāng)大小達(dá)到某一閾值時(shí)或者時(shí)間，將中記錄滾動(dòng)合并到磁盤 中；對(duì)于多個(gè)存儲(chǔ)結(jié)構(gòu)的情況，當(dāng) 越大時(shí)就向 合并，以此類推，一直往上合并 。如圖 2-19 所示：1C1C2CkC

LSM樹(shù)持

【參考文獻(xiàn)】：
期刊論文
[1]基于MRR調(diào)度的認(rèn)知LTE-R基站和服務(wù)類型值優(yōu)先隊(duì)列管理[J]. 鄧宏宇,汪一鳴,吳澄.  電信科學(xué). 2018(06)
[2]基于負(fù)載感知的數(shù)據(jù)流動(dòng)態(tài)負(fù)載均衡策略[J]. 李梓楊,于炯,卞琛,王躍飛,魯亮.  計(jì)算機(jī)應(yīng)用. 2017(10)
[3]一種基于裸閃存的Key-Value數(shù)據(jù)庫(kù)優(yōu)化方法[J]. 秦雄軍,張佳程,陸游游,舒繼武.  計(jì)算機(jī)研究與發(fā)展. 2017(06)
[4]基于STORM分布式計(jì)算的海量數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)設(shè)計(jì)方法研究[J]. 陳波.  信息與電腦(理論版). 2017(04)
[5]基于動(dòng)態(tài)優(yōu)先級(jí)的數(shù)據(jù)中心網(wǎng)絡(luò)閑時(shí)感知TCP協(xié)議[J]. 劉洪,伊鵬,胡宇翔.  計(jì)算機(jī)應(yīng)用研究. 2018(01)
[6]Redis基于RDB+AOF的數(shù)據(jù)恢復(fù)策略研究[J]. 張文帥.  電腦知識(shí)與技術(shù). 2016(14)
[7]一種云計(jì)算環(huán)境下大數(shù)據(jù)動(dòng)態(tài)遷移策略[J]. 張晉芳,王清心,丁家滿,劉彥君,黃心.  計(jì)算機(jī)工程. 2016(05)
[8]HDFS數(shù)據(jù)存放策略的研究與改進(jìn)[J]. 羅鵬,龔勛.  計(jì)算機(jī)工程與設(shè)計(jì). 2014(04)
[9]大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J]. 孫大為,張廣艷,鄭緯民.  軟件學(xué)報(bào). 2014(04)
[10]基于Zabbix的分布式服務(wù)器監(jiān)控應(yīng)用研究[J]. 郭曉慧,李潤(rùn)知,張茜,王宗敏.  通信學(xué)報(bào). 2013(S2)

碩士論文
[1]WEB集群系統(tǒng)負(fù)載均衡技術(shù)及其算法研究[D]. 崔韻鵬.大連理工大學(xué) 2017
[2]大數(shù)據(jù)流式處理系統(tǒng)負(fù)載均衡與容錯(cuò)機(jī)制的研究[D]. 段澤源.華北電力大學(xué) 2017
[3]基于量子計(jì)算的Hash碰撞安全性研究[D]. 楊婕.南京航空航天大學(xué) 2012



本文編號(hào)：3563426