【摘要】：為了全面落實(shí)《電信和互聯(lián)網(wǎng)用戶個(gè)人信息保護(hù)規(guī)定》和《電話用戶真實(shí)身份信息登記規(guī)定》的要求,工信部下屬的信息與通信研究院建設(shè)電信身份信息核查平臺(tái),為電信企業(yè)提供統(tǒng)一的身份信息核查。同時(shí),為推動(dòng)實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略,對(duì)身份信息核查業(yè)務(wù)進(jìn)行實(shí)時(shí)的、多角度的大數(shù)據(jù)業(yè)務(wù)統(tǒng)計(jì)和平臺(tái)監(jiān)測(cè),本論文從實(shí)際需求出發(fā),結(jié)合新版本的Kafka 2.0.0、Spark Streaming 2.4.0、Elasticsearch 6.4.0,設(shè)計(jì)并開發(fā)一款實(shí)時(shí)大數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)。本論文采用Spark Structured Streaming數(shù)據(jù)流處理系統(tǒng)作為基礎(chǔ),設(shè)計(jì)了一個(gè)基于Elasticsearch全文檢索系統(tǒng)的實(shí)時(shí)大數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)。該平臺(tái)以Grizzly Nio Http接口作為數(shù)據(jù)入口,Kafka為數(shù)據(jù)管道,充分利用Kafka數(shù)據(jù)高速傳輸和負(fù)載均衡的能力。采用Spark Structured Streaming對(duì)數(shù)據(jù)進(jìn)行流計(jì)算和批計(jì)算,即時(shí)輸出簡(jiǎn)單的統(tǒng)計(jì)信息,并將處理后的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)至Elasticsearch。本系統(tǒng)采用最新的Grizzly Nio Http接口和Java11,以代替目前通用的Netty Nio Http接口。Grizzly和Java11的組合提供了高質(zhì)量應(yīng)用服務(wù)器的結(jié)構(gòu)化接口,能高速提供Http服務(wù)。系統(tǒng)采用Spark 2.0所提供新特性Spark Structured Streaming架構(gòu)。該架構(gòu)同時(shí)包含高效的流計(jì)算和批計(jì)算,能有效地對(duì)數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理和轉(zhuǎn)發(fā)。其特有的端到端設(shè)計(jì)能有效減少網(wǎng)絡(luò)IO讀寫延時(shí),并且架構(gòu)中有針對(duì)Kafka和Elasticsearch的專用優(yōu)化接口。為了節(jié)省硬件資源,通過合適的方案設(shè)計(jì)和系統(tǒng)配置,Kafka、Spark Streaming和Elasticsearch三個(gè)核心組件將分別著重消耗不同的硬件資源,能同時(shí)部署在同一臺(tái)服務(wù)器上,從而減少了服務(wù)器數(shù)量。系統(tǒng)架構(gòu)簡(jiǎn)單,數(shù)據(jù)流向清晰,而且部署簡(jiǎn)單,開發(fā)方便,移植性強(qiáng)。本文在3臺(tái)10核2.4GHz CPU,256GB內(nèi)存,24塊2TB 3.5寸SATA硬盤的服務(wù)器上部署本系統(tǒng),并進(jìn)行功能和性能測(cè)試。測(cè)試結(jié)果表明,該測(cè)試系統(tǒng)在每條數(shù)據(jù)227字節(jié)、40萬條/s的數(shù)據(jù)輸入中,能達(dá)到數(shù)據(jù)延遲不大于1s。在使用了Java11后,Full GC頻率明顯下降;在使用了Grizzly Nio后,相比通用的Netty Nio平臺(tái)提速22%;在使用了Spark Structured Streaming后,入庫延遲相比Spark Streaming減少了34%。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：F626;TP311.13
【圖文】：

第五章 平臺(tái)軟件部署方案.tcp_tw_reuse = 1somaxconn = 8192netdev_max_backlog = 8192.tcp_max_syn_backlog = 8192ax = 1000000_map_count = 655360命令 sysctl -p 應(yīng)用配置，如出現(xiàn)圖 5-3，則配置成功

圖 6-2 每 5 秒平均 Http 處理延遲數(shù)據(jù).3.2 Grizzly 測(cè)試Grizzly Nio 和 Netty Nio 的測(cè)試結(jié)果如圖 6-3 所示，每秒完成 Http 請(qǐng)求和響應(yīng)圖圖中可以看出，GrizzlyNio 能處理的每秒并發(fā)數(shù)達(dá)到單臺(tái)服務(wù)器約 27000/s，而 Nio 則只有單臺(tái)服務(wù)器約 22000/s 的處理量。明顯 Grizzly Nio 的高并發(fā)性能比 Netty%。

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 李祥池;;基于ELK和Spark Streaming的日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];電子科學(xué)技術(shù);2015年06期

2 薛瑞;朱曉民;;基于Spark Streaming的實(shí)時(shí)日志處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2015年09期

3 張建中;黃艷飛;熊擁軍;;基于ElasticSearch的數(shù)字圖書館檢索系統(tǒng)[J];計(jì)算機(jī)與現(xiàn)代化;2015年06期

4 金志國(guó);李煒;;基于Netty的HTTP客戶端的設(shè)計(jì)與實(shí)現(xiàn)[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2014年01期

相關(guān)碩士學(xué)位論文 前10條

1 徐玉景;基于Kafka的全鏈路流數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2018年

2 張殿超;大數(shù)據(jù)平臺(tái)計(jì)算架構(gòu)及其應(yīng)用研究[D];南京郵電大學(xué);2017年

3 費(fèi)秀宏;基于Kafka的日志處理平臺(tái)的研究[D];吉林大學(xué);2017年

4 李洋;基于Storm與Hadoop的日志數(shù)據(jù)實(shí)時(shí)處理研究[D];西南大學(xué);2017年

5 李申申;基于Storm的實(shí)時(shí)交通信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];揚(yáng)州大學(xué);2017年

6 張文虎;連接操作在Spark框架上的實(shí)現(xiàn)與優(yōu)化[D];國(guó)防科學(xué)技術(shù)大學(xué);2016年

7 張之宣;云計(jì)算環(huán)境下實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2016年

8 杜忠暉;非結(jié)構(gòu)化文檔數(shù)據(jù)一體化存儲(chǔ)檢索技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

9 武路;移動(dòng)應(yīng)用實(shí)時(shí)統(tǒng)計(jì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

10 劉蓬;NIO高性能框架的研究與應(yīng)用[D];湖南大學(xué);2013年

本文編號(hào)：2724878