隨著大數(shù)據(jù)及網(wǎng)絡處理技術(shù)的日臻完善,云計算已經(jīng)成為互聯(lián)網(wǎng)時代軟硬件部署的首選架構(gòu)。同時,針對有低延遲要求的流式數(shù)據(jù)處理場景以及受限的網(wǎng)絡帶寬資源現(xiàn)狀,邊緣計算模型已成為云計算模型的有益補充。本文提出一種基于多核網(wǎng)絡處理器的邊緣數(shù)據(jù)采集分析節(jié)點架構(gòu),通過在多核系統(tǒng)上部署異構(gòu)操作系統(tǒng),實現(xiàn)高效的數(shù)據(jù)采集與靈活的數(shù)據(jù)分析算法的部署。分別設(shè)計了數(shù)據(jù)采集單元、數(shù)據(jù)分析單元,并通過多核并行設(shè)計、基于親和性的數(shù)據(jù)包調(diào)度、流式封裝結(jié)構(gòu)及聚合日志發(fā)送等優(yōu)化策略,提升了系統(tǒng)的處理性能。實驗結(jié)果表明,所提邊緣數(shù)據(jù)采集分析節(jié)點架構(gòu)能夠滿足高速網(wǎng)絡數(shù)據(jù)實時采集與分析的性能需求。 

【文章來源】：網(wǎng)絡新媒體技術(shù). 2020,9(02)

【文章頁數(shù)】：6 頁

【部分圖文】：

云計算模式下的數(shù)據(jù)采集分析分離架構(gòu)

圖1 云計算模式下的數(shù)據(jù)采集分析分離架構(gòu)采集單元Sensor需要完成高速的數(shù)據(jù)包處理功能,因此架構(gòu)在實時操作系統(tǒng)上,相對于Linux操作系統(tǒng),實時操作系統(tǒng)能夠充分發(fā)揮多核網(wǎng)絡處理器的協(xié)處理器優(yōu)勢,同時減少內(nèi)核態(tài)與用戶態(tài)切換導致的上下文切換開銷和內(nèi)存拷貝開銷。相對于采集單元,分析單元Digger則需要對網(wǎng)絡流量日志進行智能化、自動化的內(nèi)容分析。Linux操作系統(tǒng)上可以更迅速地部署和優(yōu)化流式數(shù)據(jù)挖掘算法,如異常檢測、聚類分析、關(guān)聯(lián)分析等,而不需要耗費過多時間移植適用于實時系統(tǒng)的相關(guān)算法。

由于實時操作系統(tǒng)與Linux操作系統(tǒng)分別運行在多核網(wǎng)絡處理器的不同核心上,本文采用核心間的消息傳遞機制在采集單元與分析單元之間傳輸日志數(shù)據(jù)。1.3 分析單元內(nèi)部結(jié)構(gòu)


本文編號：3123747