發(fā)布時間：2021-03-18 18:54

　　ELK架構(gòu)是解決日志分布式采集與分析問題中具有代表性的解決方案。但原生ELK架構(gòu)存在Logstash對CPU資源占用較大、無法動態(tài)更新日志相關(guān)配置和日志數(shù)據(jù)傳輸過程中數(shù)據(jù)易丟失等問題。為滿足現(xiàn)實中大型分布式服務(wù)的日志采集與分析需求,對原生ELK架構(gòu)作如下改進:在收集過程中增加限速器以減少CPU占用率;增加分布式注冊中心實現(xiàn)相關(guān)配置動態(tài)更新;增加消息隊列使得消息傳輸過程更健全。實驗結(jié)果表明,改進后的ELK日志采集及分析系統(tǒng)與原生ELK相比,CPU占用率減少了近60%,日志速度提高了3倍,且消息丟失率為零。 

【文章來源】：軟件導(dǎo)刊. 2019,18(08)

【文章頁數(shù)】：6 頁

【部分圖文】：

應(yīng)用服務(wù)器集群架構(gòu)2.2日志收集模塊服務(wù)器3

模塊、日志收集器模塊和日志轉(zhuǎn)發(fā)器模塊在Goland開發(fā)環(huán)境中實現(xiàn)，Kafka、Zookerper、Etcd、ElasticSearch、Kibana等在PowerShell上開啟。4.2實驗結(jié)果及分析4.2.1模擬產(chǎn)生日志實驗?zāi)M5000個用戶同時訪問購物網(wǎng)站，即產(chǎn)生5000個用戶在購物網(wǎng)站上瀏覽、購買商品、支付和收貨等日志，且設(shè)置每個用戶產(chǎn)生5~10條不等的日志。4.2.2日志收集對日志收集器進行初始化后監(jiān)聽Etcd集群配置變化以及日志內(nèi)容變化。特別地，在日志收集時會根據(jù)限速條件對日志收集器進行限速處理。圖10中，limitisrunning代表限速模塊對一秒內(nèi)生產(chǎn)5000次日志的文件進行限速，limitisexited表示限速結(jié)束。圖10日志收集器限速處理情況4.2.3日志轉(zhuǎn)發(fā)對日志轉(zhuǎn)發(fā)器進行初始化后監(jiān)聽Etcd集群配置變化。當日志轉(zhuǎn)發(fā)器拉取到相關(guān)主題的日志消息后，會發(fā)送到ElasticSearch。如圖11所示，打印出日志信息表示已經(jīng)成功收集，sendtoessuccess表示成功將日志發(fā)送到ElasticSearch。圖11日志轉(zhuǎn)發(fā)結(jié)果4.2.4日志搜索和分析當日志成功收集后，需對這些日志數(shù)據(jù)進行搜索和分析，其結(jié)果如圖12所示。柱狀圖表示每秒鐘收集到的日志，其下是按時間先后順序排列的日志數(shù)據(jù)，默認情況下是全量顯示，若需要搜索特定規(guī)則的日志，可以通過搜索欄進行搜索匹配。圖12日志展示效果通過上述實驗，系統(tǒng)可以完成收集、轉(zhuǎn)發(fā)和展示分析等功能，體現(xiàn)了其強大的分布式日志采集與分析能力。鮮征征，葉嘉祥：一種改進的ELK日志采集與分析系統(tǒng)··109

支付和收貨等日志，且設(shè)置每個用戶產(chǎn)生5~10條不等的日志。4.2.2日志收集對日志收集器進行初始化后監(jiān)聽Etcd集群配置變化以及日志內(nèi)容變化。特別地，在日志收集時會根據(jù)限速條件對日志收集器進行限速處理。圖10中，limitisrunning代表限速模塊對一秒內(nèi)生產(chǎn)5000次日志的文件進行限速，limitisexited表示限速結(jié)束。圖10日志收集器限速處理情況4.2.3日志轉(zhuǎn)發(fā)對日志轉(zhuǎn)發(fā)器進行初始化后監(jiān)聽Etcd集群配置變化。當日志轉(zhuǎn)發(fā)器拉取到相關(guān)主題的日志消息后，會發(fā)送到ElasticSearch。如圖11所示，打印出日志信息表示已經(jīng)成功收集，sendtoessuccess表示成功將日志發(fā)送到ElasticSearch。圖11日志轉(zhuǎn)發(fā)結(jié)果4.2.4日志搜索和分析當日志成功收集后，需對這些日志數(shù)據(jù)進行搜索和分析，其結(jié)果如圖12所示。柱狀圖表示每秒鐘收集到的日志，其下是按時間先后順序排列的日志數(shù)據(jù)，默認情況下是全量顯示，若需要搜索特定規(guī)則的日志，可以通過搜索欄進行搜索匹配。圖12日志展示效果通過上述實驗，系統(tǒng)可以完成收集、轉(zhuǎn)發(fā)和展示分析等功能，體現(xiàn)了其強大的分布式日志采集與分析能力。鮮征征，葉嘉祥：一種改進的ELK日志采集與分析系統(tǒng)··109

【參考文獻】：
期刊論文
[1]基于分布式Web應(yīng)用的大數(shù)據(jù)日志分析方法研究[J]. 孫魯淼.  電腦知識與技術(shù). 2019(03)
[2]基于大數(shù)據(jù)的網(wǎng)絡(luò)日志分析技術(shù)[J]. 應(yīng)毅,任凱,劉亞軍.  計算機科學(xué). 2018(S2)
[3]大規(guī)模軟件系統(tǒng)日志匯集服務(wù)平臺設(shè)計與實現(xiàn)[J]. 湯網(wǎng)祥,王金華,赫凌俊,李敏敬.  計算機應(yīng)用與軟件. 2018(11)
[4]基于ELK的日志分析系統(tǒng)研究及應(yīng)用[J]. 姚攀,馬玉鵬,徐春香.  計算機工程與設(shè)計. 2018(07)
[5]基于Hadoop的可信計算平臺日志分析模型[J]. 嚴嘉維,張琛,李成蹊,孫權(quán)榮,張程譽,譚玉霖.  軟件導(dǎo)刊. 2018(08)
[6]基于大數(shù)據(jù)的日志分析平臺在銀行中的研究與實現(xiàn)[J]. 王參參,姜青云,李彤.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(05)
[7]基于HBASE分布式存儲的通用海量日志系統(tǒng)設(shè)計方法研究[J]. 陳波.  信息通信. 2017(06)
[8]ELK日志分析平臺在系統(tǒng)運維中的應(yīng)用[J]. 張彩云,牛永紅,趙迦琪.  電子技術(shù)與軟件工程. 2017(06)
[9]基于ELK和Spark Streaming的日志分析系統(tǒng)設(shè)計與實現(xiàn)[J]. 李祥池.  電子科學(xué)技術(shù). 2015(06)
[10]大規(guī)模軟件系統(tǒng)日志研究綜述[J]. 廖湘科,李姍姍,董威,賈周陽,劉曉東,周書林.  軟件學(xué)報. 2016(08)

碩士論文
[1]基于ELK的Web日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 羅學(xué)貫.華南理工大學(xué) 2018
[2]基于Spark Streaming的實時日志分析與信息管理系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王夢蕾.哈爾濱工業(yè)大學(xué) 2018
[3]基于ELK和Spark的日志分析系統(tǒng)的研究與實現(xiàn)[D]. 袁華.南昌大學(xué) 2018
[4]基于Hadoop的Web日志存儲和分析系統(tǒng)的研究與實現(xiàn)[D]. 班秋成.北京郵電大學(xué) 2018



本文編號：3088768