伴隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和進(jìn)步,網(wǎng)絡(luò)中的數(shù)據(jù)量產(chǎn)生了爆發(fā)式增長,促使了一批專門用來處理和存儲(chǔ)大數(shù)據(jù)的分布式系統(tǒng)的出現(xiàn)和發(fā)展,Hadoop大數(shù)據(jù)平臺(tái)就是其中最著名的一員。而近些年為了應(yīng)對(duì)海量數(shù)據(jù)的壓力,人們選擇了具有強(qiáng)大計(jì)算能力的GPU。自此,分布式系統(tǒng)尤其是擁有多個(gè)GPU的分布式系統(tǒng)的地位越來越高,在人們享受這些分布式系統(tǒng)帶來的便利的同時(shí),其能耗問題也稱為了人們關(guān)注的重點(diǎn)。由于最初設(shè)計(jì)Hadoop時(shí)沒有將節(jié)能問題考慮進(jìn)來,導(dǎo)致在Hadoop集群運(yùn)行之后能耗過高的問題比較嚴(yán)重。最近,Hadoop又提出了使用GPU處理任務(wù)的解決方案,而GPU能耗占節(jié)點(diǎn)總能耗的比重不容小視,這加劇了Hadoop集群能耗過高的問題。因此研究如何減少Hadoop集群的能耗對(duì)于提高互聯(lián)網(wǎng)企業(yè)的效益乃至響應(yīng)國家節(jié)能減排的號(hào)召都有著極其重要的意義。本文通過對(duì)Hadoop平臺(tái)整體架構(gòu)以及運(yùn)行機(jī)制進(jìn)行深入剖析,將Hadoop集群拆分為HDFS集群和YARN集群,同時(shí)使用Docker容器技術(shù)將集群的各個(gè)節(jié)點(diǎn)進(jìn)行封裝,便于實(shí)現(xiàn)對(duì)Hadoop節(jié)點(diǎn)的操作完成節(jié)能的目的。接著基于容器編排平臺(tái)Kubernetes實(shí)現(xiàn)了Hadoop集群的...

【文章頁數(shù)】：78 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題來源
    1.2 課題研究背景及意義
    1.3 國內(nèi)外研究現(xiàn)狀
        1.3.1 硬件層面節(jié)能技術(shù)
        1.3.2 軟件層面節(jié)能技術(shù)
        1.3.3 研究現(xiàn)狀的分析及存在的問題
    1.4 本文研究內(nèi)容及組織結(jié)構(gòu)
        1.4.1 本文主要研究內(nèi)容
        1.4.2 本文結(jié)構(gòu)安排
第2章 系統(tǒng)需求分析與設(shè)計(jì)
    2.1 能耗優(yōu)化系統(tǒng)設(shè)計(jì)前提
        2.1.1 集群服務(wù)器能耗分析
        2.1.2 集群服務(wù)器能耗建模
        2.1.3 集群能耗的優(yōu)化思路
    2.2 能耗優(yōu)化系統(tǒng)的需求分析
        2.2.1 系統(tǒng)功能性需求
        2.2.2 系統(tǒng)非功能性需求
    2.3 能耗優(yōu)化系統(tǒng)的設(shè)計(jì)
        2.3.1 能耗優(yōu)化系統(tǒng)總體設(shè)計(jì)
        2.3.2 集群管理模塊設(shè)計(jì)
        2.3.3 鏡像管理模塊設(shè)計(jì)
        2.3.4 調(diào)度管理模塊設(shè)計(jì)
        2.3.5 監(jiān)控管理模塊設(shè)計(jì)
        2.3.6 節(jié)能管理模塊設(shè)計(jì)
    2.4 本章小結(jié)
第3章 Hadoop集群的容器化實(shí)現(xiàn)
    3.1 Docker容器相關(guān)技術(shù)
        3.1.1 Docker容器技術(shù)
        3.1.2 Docker總體架構(gòu)
        3.1.3 Docker容器的優(yōu)勢(shì)
    3.2 Kubernetes容器編排平臺(tái)
        3.2.1 Kubernetes概述
        3.2.2 Kubernetes系統(tǒng)架構(gòu)
    3.3 Hadoop集群的容器化
        3.3.1 容器的網(wǎng)絡(luò)模型
        3.3.2 Flannel實(shí)現(xiàn)集群跨主機(jī)網(wǎng)絡(luò)
        3.3.3 Hadoop節(jié)點(diǎn)容器通信的實(shí)現(xiàn)
        3.3.4 HDFS集群的容器化實(shí)現(xiàn)
        3.3.5 YARN集群的容器化實(shí)現(xiàn)
    3.4 本章小結(jié)
第4章 Hadoop集群能耗優(yōu)化系統(tǒng)的實(shí)現(xiàn)
    4.1 Hadoop集群管理的實(shí)現(xiàn)
    4.2 鏡像管理模塊的實(shí)現(xiàn)
    4.3 Hadoop工作節(jié)點(diǎn)調(diào)度的實(shí)現(xiàn)
        4.3.1 工作節(jié)點(diǎn)調(diào)度架構(gòu)
        4.3.2 預(yù)選調(diào)度和優(yōu)選調(diào)度的實(shí)現(xiàn)
        4.3.3 面向GPU的親和性調(diào)度功能的實(shí)現(xiàn)
    4.4 資源監(jiān)控系統(tǒng)的實(shí)現(xiàn)
        4.4.1 監(jiān)控系統(tǒng)的具體實(shí)現(xiàn)
        4.4.2 監(jiān)控系統(tǒng)適配器的實(shí)現(xiàn)
    4.5 Hadoop節(jié)點(diǎn)節(jié)能伸縮功能的實(shí)現(xiàn)
        4.5.1 基于Kubernetes的彈性伸縮框架
        4.5.2 Hadoop節(jié)點(diǎn)節(jié)能伸縮的實(shí)現(xiàn)
    4.6 Hadoop能耗優(yōu)化完整流程
    4.7 本章小結(jié)
第5章 系統(tǒng)測試與結(jié)果分析
    5.1 系統(tǒng)的測試環(huán)境
        5.1.1 測試環(huán)境硬件配置
        5.1.2 測試環(huán)境軟件配置
    5.2 系統(tǒng)功能測試
        5.2.1 Hadoop平臺(tái)管理功能測試
        5.2.2 鏡像管理模塊功能測試
        5.2.3 Hadoop節(jié)能伸縮功能測試
    5.3 系統(tǒng)性能測試
        5.3.1 基準(zhǔn)測試程序簡介
        5.3.2 性能測試結(jié)果分析
    5.4 節(jié)能效果仿真實(shí)驗(yàn)
        5.4.1 Cloud Sim仿真平臺(tái)介紹
        5.4.2 仿真實(shí)驗(yàn)相關(guān)參數(shù)
        5.4.3 仿真結(jié)果與分析
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝



本文編號(hào)：3776841