用于大規(guī)模數(shù)據(jù)處理的流式計(jì)算平臺(tái),可以實(shí)時(shí)、分布式的對(duì)數(shù)據(jù)進(jìn)行處理,具有操作簡(jiǎn)單、高效等特點(diǎn),已應(yīng)用于各行各業(yè)。Apache Storm作為一款開源、分布式、實(shí)時(shí)處理的高容錯(cuò)大數(shù)據(jù)流式計(jì)算平臺(tái),存在高能耗問題。為了更好的解決Storm平臺(tái)在進(jìn)行數(shù)據(jù)處理過(guò)程中的高能耗低效率問題,本文在Storm平臺(tái)基本構(gòu)架及處理模式的基礎(chǔ)上,對(duì)一系列概念進(jìn)行了定義,提出了拓?fù)溥壿嬯P(guān)系圖、關(guān)鍵路徑、關(guān)鍵路徑數(shù)據(jù)處理成本、性耗比及數(shù)據(jù)傳輸量與CPU使用率閾值選擇等模型。在此基礎(chǔ)上提出一種針對(duì)Storm平臺(tái)的工作節(jié)點(diǎn)節(jié)能調(diào)控策略,該策略針對(duì)拓?fù)鋱?zhí)行不同路徑上的工作節(jié)點(diǎn)實(shí)施不同的節(jié)能策略。針對(duì)拓?fù)鋱?zhí)行關(guān)鍵路徑工作節(jié)點(diǎn),提出了工作節(jié)點(diǎn)內(nèi)存電壓調(diào)控策略（Energy-efficient Strategy by adjusting the DRAM voltage of work nodes in critical path,EACP）,在性耗比模型的約束下,對(duì)系統(tǒng)數(shù)據(jù)處理及CPU使用情況進(jìn)行判斷,通過(guò)對(duì)工作節(jié)點(diǎn)內(nèi)存電壓進(jìn)行調(diào)控達(dá)到節(jié)能的目的;針對(duì)拓?fù)鋱?zhí)行非關(guān)鍵路徑工作節(jié)點(diǎn),提出了工作節(jié)點(diǎn)CPU電壓調(diào)控策略（Ener... 

【文章來(lái)源】：新疆大學(xué)新疆維吾爾自治區(qū) 211工程院校

【文章頁(yè)數(shù)】：52 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Storm系統(tǒng)架構(gòu)

圖 3-1 拓?fù)溥壿嬯P(guān)系圖 3-2 拓?fù)鋱?zhí)行并行度。在 Storm 中可以通過(guò)設(shè)置組件的運(yùn)行實(shí)執(zhí)行并行度。其中每個(gè)線程執(zhí)行一個(gè)實(shí)例，每個(gè) Spout/Bolt 組個(gè)或多個(gè)線程。對(duì)于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，線程集合中的每個(gè)元素均是組件 vi所運(yùn)行的線程，eij為 vi。當(dāng)組件所設(shè)置的運(yùn)行實(shí)例數(shù)為 1 時(shí)，組件中只運(yùn)行一個(gè)線程，即 所示，其中線程集合{ed1,ed2,ed3}是組件 vd的所有線程。

圖 3-1 拓?fù)溥壿嬯P(guān)系圖 3-2 拓?fù)鋱?zhí)行并行度。在 Storm 中可以通過(guò)設(shè)置組件的運(yùn)行實(shí)執(zhí)行并行度。其中每個(gè)線程執(zhí)行一個(gè)實(shí)例，每個(gè) Spout/Bolt 組個(gè)或多個(gè)線程。對(duì)于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，線程集合中的每個(gè)元素均是組件 vi所運(yùn)行的線程，eij為 vi。當(dāng)組件所設(shè)置的運(yùn)行實(shí)例數(shù)為 1 時(shí)，組件中只運(yùn)行一個(gè)線程，即 所示，其中線程集合{ed1,ed2,ed3}是組件 vd的所有線程。

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)流式計(jì)算框架Heron環(huán)境下的流分類任務(wù)調(diào)度策略[J]. 張譯天,于炯,魯亮,李梓楊.  計(jì)算機(jī)應(yīng)用. 2019(04)
[2]Storm環(huán)境下基于拓?fù)浣Y(jié)構(gòu)的任務(wù)調(diào)度策略[J]. 劉粟,于炯,魯亮,李梓楊.  計(jì)算機(jī)應(yīng)用. 2018(12)
[3]大數(shù)據(jù)流式計(jì)算框架Storm的任務(wù)遷移策略[J]. 魯亮,于炯,卞琛,劉月超,廖彬,李慧娟.  計(jì)算機(jī)研究與發(fā)展. 2018(01)
[4]MapReduce能耗建模及優(yōu)化分析[J]. 廖彬,張?zhí)?于炯,尹路通,郭剛,國(guó)冰磊.  計(jì)算機(jī)研究與發(fā)展. 2016(09)
[5]溫度感知的MapReduce節(jié)能任務(wù)調(diào)度策略[J]. 廖彬,張?zhí)?于炯,劉繼,尹路通,郭剛.  通信學(xué)報(bào). 2016(01)
[6]適應(yīng)節(jié)能與異構(gòu)環(huán)境的MapReduce數(shù)據(jù)布局策略[J]. 廖彬,張?zhí)?于炯,劉繼,鐘磊,劉炎.  中山大學(xué)學(xué)報(bào)(自然科學(xué)版). 2015(06)
[7]大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J]. 孫大為,張廣艷,鄭緯民.  軟件學(xué)報(bào). 2014(04)
[8]2013年數(shù)據(jù)中心能效現(xiàn)狀深度分析[J]. 呂天文.  電源世界. 2013(06)
[9]基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J]. 廖彬,于炯,張?zhí)?楊興耀.  計(jì)算機(jī)學(xué)報(bào). 2013(05)
[10]基于存儲(chǔ)結(jié)構(gòu)重配置的分布式存儲(chǔ)系統(tǒng)節(jié)能算法[J]. 廖彬,于炯,孫華,年梅.  計(jì)算機(jī)研究與發(fā)展. 2013(01)



本文編號(hào)：2954752