【摘要】：車(chē)聯(lián)網(wǎng)業(yè)務(wù)除傳統(tǒng)的車(chē)載信息服務(wù),比如安全保障、遠(yuǎn)程控制和語(yǔ)音導(dǎo)航等功能,還包括不斷創(chuàng)新的服務(wù),比如車(chē)隊(duì)管理、駕駛行為分析、車(chē)輛鑒定評(píng)估等基于大數(shù)據(jù)分析的業(yè)務(wù)。車(chē)輛數(shù)據(jù)的采集與分發(fā)是所有這些業(yè)務(wù)的基石。隨著車(chē)輛日益增多,需要采集的車(chē)輛數(shù)據(jù)的種類不斷增加,車(chē)輛數(shù)據(jù)以億級(jí)數(shù)量增加,亟待解決車(chē)輛數(shù)據(jù)采集與存儲(chǔ)的性能、按業(yè)務(wù)服務(wù)類型管理采集及分發(fā)任務(wù)等問(wèn)題。針對(duì)上述問(wèn)題,本文以國(guó)內(nèi)占領(lǐng)先地位的某車(chē)聯(lián)網(wǎng)信息服務(wù)公司的實(shí)際項(xiàng)目為背景,在對(duì)微服務(wù)架構(gòu)、微服務(wù)監(jiān)控、Kafka消息中間件等相關(guān)技術(shù)進(jìn)行分析研究的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于微服務(wù)的車(chē)輛數(shù)據(jù)采集與分發(fā)系統(tǒng)(以下簡(jiǎn)稱VDCDS系統(tǒng))。該系統(tǒng)的核心功能包括基于Kafka的車(chē)輛數(shù)據(jù)采集及分發(fā)、基于Cassandra的車(chē)輛數(shù)據(jù)存儲(chǔ)、基于Spring Cloud Sleuth的任務(wù)服務(wù)監(jiān)測(cè)等。測(cè)試情況表明,該系統(tǒng)是可行和有效的。本文的工作要點(diǎn)如下:1)基于Kafka的車(chē)輛數(shù)據(jù)采集與分發(fā)。車(chē)聯(lián)網(wǎng)的車(chē)輛數(shù)據(jù)采集需支持?jǐn)?shù)以千計(jì)的數(shù)據(jù)類型和諸如SOAP、REST、JMS等多種傳輸協(xié)議,采集后的車(chē)輛數(shù)據(jù)需根據(jù)業(yè)務(wù)類型分發(fā)給多個(gè)下游業(yè)務(wù)系統(tǒng)。本文提出了一種基于微服務(wù)的車(chē)輛數(shù)據(jù)采集與分發(fā)任務(wù)管理方案,采用Spring Cloud和Kafka框架實(shí)現(xiàn)了該方案。測(cè)試情況表明,VDCDS系統(tǒng)能夠支持百萬(wàn)車(chē)輛每秒10萬(wàn)條近50MB車(chē)輛數(shù)據(jù)的采集。2)基于Cassandra的車(chē)輛數(shù)據(jù)存儲(chǔ)。車(chē)聯(lián)網(wǎng)的車(chē)輛數(shù)據(jù)存儲(chǔ)需支持百萬(wàn)活躍車(chē)輛早晚高峰時(shí)高并發(fā)量的數(shù)據(jù)上傳和以億級(jí)增加的車(chē)輛數(shù)據(jù)數(shù)量,支持按照車(chē)輛、時(shí)間和業(yè)務(wù)類型的秒級(jí)數(shù)據(jù)查詢。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Cassandra的分布式車(chē)輛數(shù)據(jù)存儲(chǔ)模塊。測(cè)試情況表明,VDCDS系統(tǒng)可支持每秒10萬(wàn)級(jí)的混合讀寫(xiě)場(chǎng)景,寫(xiě)入和讀取的延遲99.9%情況下都在300毫秒以內(nèi)。3)基于Spring Cloud Sleuth的服務(wù)監(jiān)測(cè)。車(chē)輛數(shù)據(jù)采集、分發(fā)和存儲(chǔ)服務(wù)需支持高可用,需監(jiān)測(cè)服務(wù)請(qǐng)求的生命周期時(shí)長(zhǎng)。本文采用Spring Cloud Sleuth和Zipkin等開(kāi)源框架設(shè)計(jì)并實(shí)現(xiàn)了服務(wù)監(jiān)測(cè)功能。測(cè)試情況表明,當(dāng)服務(wù)監(jiān)測(cè)的采樣率設(shè)置為0.1時(shí),服務(wù)的吞吐量約降低0.5%,響應(yīng)的延遲約增加1%。VDCDS系統(tǒng)可應(yīng)用在所有需要使用車(chē)輛數(shù)據(jù)的車(chē)聯(lián)網(wǎng)業(yè)務(wù)中。例如支持車(chē)隊(duì)管理的歷史軌跡等基于車(chē)輛位置數(shù)據(jù)的服務(wù);支持駕駛行為分析等基于車(chē)輛點(diǎn)/熄火和速度數(shù)據(jù)的服務(wù);支持車(chē)輛鑒定和評(píng)估等基于車(chē)輛故障診斷和碰撞數(shù)據(jù)的服務(wù)。VDCDS系統(tǒng)的設(shè)計(jì)和構(gòu)建能夠增強(qiáng)車(chē)聯(lián)網(wǎng)平臺(tái)各個(gè)系統(tǒng)內(nèi)聚性的同時(shí),保持各個(gè)系統(tǒng)之間的松散耦合,從而可以降低各個(gè)系統(tǒng)開(kāi)展新業(yè)務(wù)功能及維護(hù)的成本,增強(qiáng)整個(gè)車(chē)聯(lián)網(wǎng)平臺(tái)的健壯性和可用性。
【圖文】：

圖 2-1 單體架構(gòu)與微服務(wù)架構(gòu)Figure 2-1 Monolithic architecture and Microservices architecture例如，系統(tǒng)由訂單管理服務(wù)，用戶管理服務(wù)組成等。服務(wù)之間通信使用同步的HTTP/REST 協(xié)議，或者使用異步的 AMQP 協(xié)議。每個(gè)服務(wù)可以獨(dú)立的開(kāi)發(fā)和部署。每個(gè)服務(wù)擁有自己的數(shù)據(jù)庫(kù)，從而和其他的服務(wù)解耦。數(shù)據(jù)的一致性可以使用數(shù)據(jù)復(fù)制機(jī)制或者服務(wù)間的事件來(lái)維護(hù)。使用上述架構(gòu)解決方案有如下優(yōu)點(diǎn)：每個(gè)服務(wù)相對(duì)來(lái)說(shuō)代碼規(guī)模小，易于開(kāi)發(fā)人員理解。集成開(kāi)發(fā)速度較快，利于開(kāi)發(fā)人員提高生產(chǎn)率，部署和啟動(dòng)速度快，利于維護(hù)和測(cè)試，以及加快部署的頻率。服務(wù)之間相互較為獨(dú)立，利于單個(gè)服務(wù)的升級(jí)。每個(gè)小組可以負(fù)責(zé)單個(gè)服務(wù)，利于開(kāi)發(fā)團(tuán)隊(duì)的擴(kuò)充。開(kāi)發(fā)小組可以對(duì)服務(wù)的開(kāi)發(fā)，部署和擴(kuò)展做出獨(dú)立決策，從而利于開(kāi)發(fā)團(tuán)隊(duì)的組織和協(xié)作。利于錯(cuò)誤隔離，比如某個(gè)服務(wù)有嚴(yán)重的內(nèi)存泄漏，只有那個(gè)服務(wù)會(huì)受到影響，其他服務(wù)可以正常處理請(qǐng)求。而在單體架構(gòu)中，單個(gè)服務(wù)組件有可能拖垮整個(gè)系統(tǒng)。服務(wù)可以獨(dú)立開(kāi)發(fā)和部署。消除了對(duì)特定技術(shù)棧的長(zhǎng)期捆綁和依賴。

基于微服務(wù)的車(chē)聯(lián)網(wǎng)車(chē)輛數(shù)據(jù)采集與分發(fā)系統(tǒng)單體系統(tǒng)分解為多個(gè)服務(wù)，每個(gè)服務(wù)需要隔離，需要使用單獨(dú)的應(yīng)用服務(wù)器實(shí)例，其消耗的硬件和軟件資源必然會(huì)增加。何時(shí)選擇何種架構(gòu)是需要慎重考量的。當(dāng)開(kāi)發(fā)系統(tǒng)的早期版本時(shí)，使用單體架構(gòu)通常不會(huì)面臨很多問(wèn)題，此時(shí)如果使用需要精細(xì)的分布式架構(gòu)則會(huì)拖慢開(kāi)發(fā)進(jìn)度。對(duì)于初創(chuàng)公司，或者急需開(kāi)展新業(yè)務(wù)的時(shí)候，單體架構(gòu)就較為合理，選擇分割服務(wù)即微服務(wù)架構(gòu)會(huì)使迭代速度變慢，對(duì)業(yè)務(wù)模型的進(jìn)化產(chǎn)生不良影響，有可能得不償失。如果采用單體架構(gòu)，業(yè)務(wù)規(guī)模增長(zhǎng)后，需要使用功能分解來(lái)擴(kuò)展系統(tǒng)時(shí)，軟件組件之間模糊并且錯(cuò)綜復(fù)雜的依賴關(guān)系，使得把單體架構(gòu)轉(zhuǎn)變?yōu)橐幌盗蟹⻊?wù)的困難就大大增加。2.1.2 基礎(chǔ)設(shè)施服務(wù)微服務(wù)架構(gòu)中業(yè)務(wù)服務(wù)通常依賴基礎(chǔ)設(shè)施服務(wù)，來(lái)完成所需要的集中化或自動(dòng)化工作[22]。如圖 2-2 所示。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：U495;TP274.2

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 薛寧;;財(cái)務(wù)數(shù)據(jù)采集的統(tǒng)一處理框架設(shè)計(jì)與應(yīng)用[J];審計(jì)月刊;2019年08期

2 陽(yáng)澤;韓睿婷;林曉婷;;教育實(shí)證研究中數(shù)據(jù)采集的基本規(guī)范、現(xiàn)實(shí)困境及其改進(jìn)[J];教育測(cè)量與評(píng)價(jià);2019年08期

3 管宇e，

本文編號(hào)：2698588