如今互聯(lián)網(wǎng)中信息繁多,內(nèi)容豐富,人們可以在互聯(lián)網(wǎng)上使用到各式各樣的網(wǎng)絡(luò)服務(wù)。但是,不斷變化的網(wǎng)絡(luò)給網(wǎng)絡(luò)監(jiān)管提出了挑戰(zhàn),網(wǎng)絡(luò)中存在著各類帶有標(biāo)簽的數(shù)據(jù),其獲取方式與存在形式各異,難以進(jìn)行統(tǒng)一的管理與分析,而目前有關(guān)于網(wǎng)絡(luò)數(shù)據(jù)匯聚的研究工作或者成熟的平臺(tái)產(chǎn)品幾乎都是針對(duì)特定類型的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行收集。為解決這一問(wèn)題,本文將基于Docker以及Kubernetes設(shè)計(jì)一種能夠支持從網(wǎng)絡(luò)中不同目標(biāo)獲取相應(yīng)數(shù)據(jù),能夠?qū)@些數(shù)據(jù)進(jìn)行存儲(chǔ)、統(tǒng)計(jì)與分析的平臺(tái),讓容器成為各類數(shù)據(jù)匯聚、存儲(chǔ)、分析等過(guò)程的載體,并且這些容器則由Kubernetes統(tǒng)一調(diào)度。然而Kubernetes在資源管理方面和數(shù)據(jù)處理方面有所不足。針對(duì)上述問(wèn)題,本文設(shè)計(jì)了相應(yīng)的解決方案并實(shí)現(xiàn)完整的系統(tǒng),具體的工作如下:(1)提出了集群帶寬資源管理策略,設(shè)計(jì)了針對(duì)數(shù)據(jù)匯聚任務(wù)的調(diào)度流程,優(yōu)化了 Kubernetes的任務(wù)調(diào)度方式,解決了在集群帶寬資源不足時(shí)需要及時(shí)完成的任務(wù)無(wú)法順利執(zhí)行的問(wèn)題。(2)設(shè)計(jì)了適用于多源異構(gòu)數(shù)據(jù)的存儲(chǔ)過(guò)程,提高了容器平臺(tái)對(duì)多源異構(gòu)數(shù)據(jù)的處理能力,解決了出現(xiàn)數(shù)據(jù)高峰導(dǎo)致數(shù)據(jù)積壓、容器的無(wú)狀態(tài)特點(diǎn)導(dǎo)致文件類數(shù)據(jù)丟失等問(wèn)...

【文章頁(yè)數(shù)】：76 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究工作的背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 論文的主要工作
    1.4 論文結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)研究
    2.1 網(wǎng)絡(luò)探測(cè)相關(guān)技術(shù)
        2.1.1 主動(dòng)探測(cè)
        2.1.2 被動(dòng)探測(cè)
        2.1.3 網(wǎng)絡(luò)掃描平臺(tái)產(chǎn)品
    2.2 Web頁(yè)面內(nèi)容提取與分析相關(guān)技術(shù)
        2.2.1 Web頁(yè)面獲取
        2.2.2 網(wǎng)頁(yè)內(nèi)容特征提取
        2.2.3 聚類算法
    2.3 容器化平臺(tái)相關(guān)技術(shù)
        2.3.1 容器
        2.3.2 容器編排
    2.4 存儲(chǔ)相關(guān)技術(shù)
        2.4.1 內(nèi)存數(shù)據(jù)庫(kù)
        2.4.2 數(shù)據(jù)持久化
    2.5 本章小結(jié)
第三章 數(shù)據(jù)匯聚與特征分析關(guān)鍵技術(shù)研究
    3.1 任務(wù)調(diào)度關(guān)鍵技術(shù)研究
        3.1.1 Kubernetes調(diào)度技術(shù)分析與研究
        3.1.2 任務(wù)類型分析
        3.1.3 調(diào)度策略優(yōu)化
    3.2 數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究
        3.2.1 格式化數(shù)據(jù)存儲(chǔ)方案
        3.2.2 非格式化數(shù)據(jù)存儲(chǔ)方案
    3.3 本章小結(jié)
第四章 系統(tǒng)設(shè)計(jì)
    4.1 系統(tǒng)概要設(shè)計(jì)
        4.1.1 系統(tǒng)整體架構(gòu)設(shè)計(jì)
        4.1.2 系統(tǒng)功能結(jié)構(gòu)圖
    4.2 系統(tǒng)詳細(xì)設(shè)計(jì)
        4.2.1 集群管理模塊設(shè)計(jì)
        4.2.2 任務(wù)管理模塊設(shè)計(jì)
        4.2.3 鏡像管理模塊設(shè)計(jì)
        4.2.4 結(jié)果管理模塊設(shè)計(jì)
        4.2.5 統(tǒng)計(jì)管理模塊設(shè)計(jì)
    4.3 本章小結(jié)
第五章 多元網(wǎng)絡(luò)標(biāo)簽數(shù)據(jù)統(tǒng)計(jì)與特征分析
    5.1 IP響應(yīng)時(shí)間與地理信息統(tǒng)計(jì)分析
    5.2 端口開放統(tǒng)計(jì)
    5.3 主機(jī)服務(wù)統(tǒng)計(jì)
    5.4 域名-地理信息統(tǒng)計(jì)
    5.5 DNS服務(wù)器相關(guān)統(tǒng)計(jì)
    5.6 網(wǎng)頁(yè)主題關(guān)鍵詞統(tǒng)計(jì)
    5.7 網(wǎng)頁(yè)內(nèi)容聚類分析
    5.8 本章小結(jié)
第六章 系統(tǒng)測(cè)試
    6.1 測(cè)試環(huán)境部署
    6.2 系統(tǒng)功能測(cè)試
        6.2.1 集群管理功能測(cè)試
        6.2.2 任務(wù)管理功能測(cè)試
        6.2.3 鏡像管理功能測(cè)試
        6.2.4 結(jié)果管理功能測(cè)試
        6.2.5 統(tǒng)計(jì)管理功能測(cè)試
    6.3 實(shí)時(shí)任務(wù)調(diào)度功能測(cè)試
    6.4 系統(tǒng)性能測(cè)試
    6.5 本章小結(jié)
第七章 總結(jié)與展望
    7.1 本文工作總結(jié)
    7.2 不足與展望
致謝
參考文獻(xiàn)
攻讀碩士期間取得的研究成果



本文編號(hào)：3837718