發(fā)布時間：2024-04-12 03:41

　　服務(wù)信息系統(tǒng)正在不斷地向網(wǎng)絡(luò)化信息的模式轉(zhuǎn)型,國產(chǎn)硬件設(shè)備也不斷地更新?lián)Q代,自主可控也成為了新信息時代的基本要求,隨著信息時代的發(fā)展和新時代自主可控的要求,越來越多的服務(wù)和應(yīng)用也將被部署自主可控的云平臺上。部署在自主可控容器云平臺上的服務(wù)和應(yīng)用在運(yùn)行的過程中,我們需要獲取日志數(shù)據(jù),來進(jìn)行一系列的監(jiān)控、統(tǒng)計(jì)、分析以及預(yù)測工作。然而傳統(tǒng)日志采集和分析工具對于自主可控的容器云來說在技術(shù)上還存在著一些缺陷。本文的研究的目的是為自主可控容器云平臺搭建的,大數(shù)據(jù)日志分析系統(tǒng)。本文主要是采用的是以Spark和ELK Stack開源框架為核心的數(shù)據(jù)日志處理技術(shù),實(shí)現(xiàn)了對于整個自主可控云平臺系統(tǒng)日志的大數(shù)據(jù)分析。將整個自主容器云平臺的日志分析系統(tǒng)分為了四個部分:日志采集模塊、日志存儲模塊、日志分析模塊、結(jié)果可視化模塊。為了適應(yīng)自主可控容器云的特點(diǎn),本文設(shè)計(jì)了自適應(yīng)系統(tǒng)負(fù)載的日志采集算法,降低了日志采集對于容器,云平臺性能的影響,從而保證了自主可控容器云上所部署的服務(wù)高效可靠的運(yùn)行,并且也保證了日志數(shù)據(jù)一定的全面性。為了高效的執(zhí)行日志分析的任務(wù),本文對日志數(shù)據(jù)分析階段進(jìn)行了詳細(xì)的研究和產(chǎn)品需求的規(guī)劃,詳細(xì)...

【文章頁數(shù)】：54 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3.5技術(shù)模塊規(guī)劃圖

?電子科學(xué)研究院碩士學(xué)位論文３．３．４數(shù)據(jù)可視化模塊??數(shù)據(jù)可視化模塊的主要功能是可視化分布式數(shù)據(jù)存儲模塊中的數(shù)據(jù)可視化模塊需要顯示的數(shù)據(jù)主要分為兩部分：其中一部分是對據(jù)可視化，這部分主要是為開發(fā)和運(yùn)維工程師對自主容器云平臺后的支撐工作；第二部分是結(jié)果日志數(shù)據(jù)的可視化，這一部分主....

圖4.12分析結(jié)果日志可視化呈現(xiàn)

圖４．?１０?Ｉｐ分布圖??Ｄａｔｅ４Ｐ議旬最??１８００?＾?垂??ｍｍ?ｍｍ?１１嫩?ｕｍ?ｎｍ?２＾ｍ?ｂ：ｏｏ??圖４．?１１?Ｉｐ時間分布圖??４．４．２分析結(jié)果日志可視化呈現(xiàn)??而對于大數(shù)據(jù)日志分析系統(tǒng)分析的日志信息，Ｋｉｂａｎａ的圖形用戶界面?zhèn)鹘y(tǒng)用戶來說并不夠友好，....

圖4.13離線分析結(jié)果統(tǒng)計(jì)

?電子科學(xué)研宄院碩士學(xué)位論文為深度用戶，并且統(tǒng)計(jì)了一個月內(nèi)新用戶的數(shù)目，以及用ＰＣ端使用自器云上服務(wù)的用戶數(shù)目。具體分析結(jié)果如圖４．１３所示。??

圖5.1日志數(shù)據(jù)采集算法流程

驗(yàn)證??基于中國電子科技集團(tuán)第十五研究所的太極云進(jìn)行節(jié)點(diǎn)１個，網(wǎng)關(guān)節(jié)點(diǎn)一個，計(jì)算節(jié)點(diǎn)３個，均采用的了由中國電科第十五研究所自主研發(fā)的太極云，數(shù)據(jù)務(wù)器一臺。計(jì)算節(jié)點(diǎn)所產(chǎn)生的數(shù)據(jù)均采用網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)采集節(jié)點(diǎn)的服務(wù)器上。實(shí)驗(yàn)的拓?fù)鋱D如圖５．２ｍ?叼關(guān)節(jié)點(diǎn)??０?０?，３，＿??Ｉ?職?....

本文編號：3951608