【摘要】：由于分散的各個天文臺源源不斷地產(chǎn)生天文觀測數(shù)據(jù),為了方便檢索,要求天文元數(shù)據(jù)的處理系統(tǒng)必須具備很高的實時性,而傳統(tǒng)的批處理大數(shù)據(jù)平臺需要將數(shù)據(jù)下載存儲后再處理,因此難以滿足系統(tǒng)的高實時性要求。Storm作為一個分布式流數(shù)據(jù)實時處理框架,能夠保證大流量數(shù)據(jù)處理的時效性,因此本文考慮將其應(yīng)用到天文元數(shù)據(jù)處理系統(tǒng)中,以實現(xiàn)數(shù)據(jù)流的實時接收與處理。通過分析發(fā)現(xiàn)影響Storm系統(tǒng)性能的核心問題之一是系統(tǒng)任務(wù)調(diào)度機(jī)制。目前Storm系統(tǒng)使用的默認(rèn)調(diào)度機(jī)制為簡單的輪詢機(jī)制,雖然能夠?qū)崿F(xiàn)一定的負(fù)載均衡,但是針對天文元數(shù)據(jù)實時處理更復(fù)雜的任務(wù)需求,將產(chǎn)生較大的系統(tǒng)性能瓶頸。針對Storm系統(tǒng)調(diào)度問題,本文主要從兩個部分共同實現(xiàn)優(yōu)化:第一個方面是增加系統(tǒng)彈性機(jī)制以提高系統(tǒng)的資源利用;第二個部分是通過優(yōu)化任務(wù)部署來減小系統(tǒng)的通信開銷。首先,針對Storm系統(tǒng)彈性機(jī)制缺失問題,論文提出在系統(tǒng)中嵌入一個實時的自適應(yīng)彈性機(jī)制模塊,通過不斷獲取系統(tǒng)運(yùn)行的狀態(tài)信息,根據(jù)信息做出相對應(yīng)的調(diào)度決策,動態(tài)的為每個Topology應(yīng)用配置合理的計算資源,使系統(tǒng)的資源可以得到更充分的利用;然后,針對目前任務(wù)部署不合理而造成系統(tǒng)通信開銷過大的問題,論文提出了一種基于圖劃分技術(shù)的任務(wù)部署調(diào)度優(yōu)化方法。具體做法是將運(yùn)行中的Topology計算應(yīng)用看作一張帶權(quán)重的圖,然后利用圖劃分技術(shù)來對這張圖進(jìn)行處理,得到一個合理的任務(wù)部署優(yōu)化調(diào)度方案。調(diào)度方案在保證負(fù)載均衡的條件下,可以有效地減小系統(tǒng)的通信開銷。最后將調(diào)度方案提交給系統(tǒng)實施調(diào)度,實現(xiàn)減少系統(tǒng)處理時延,提高系統(tǒng)吞吐量的目標(biāo)。論文對提出的調(diào)度優(yōu)化方案進(jìn)行了實現(xiàn)并搭建了實驗環(huán)境,對系統(tǒng)的功能及性能進(jìn)行了全面測試。試驗結(jié)果表明,論文設(shè)計的調(diào)度優(yōu)化方案能夠在資源利用,系統(tǒng)處理時延以及吞吐量方面實現(xiàn)性能的提升。該調(diào)度方案的研究與實現(xiàn),有效提升了Storm系統(tǒng)的性能,為天文元數(shù)據(jù)的實時處理提供了關(guān)鍵技術(shù)支撐。
【學(xué)位授予單位】：重慶郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP274;O157.5;P11
【圖文】：

圖 2.1 Storm 系統(tǒng)框架圖節(jié)點(diǎn)被稱為 Worker Node，也被稱為工作節(jié)點(diǎn)，在這些工作節(jié)點(diǎn)當(dāng)中叫 Supervisor 的程序。Supervisor 可以理解為單機(jī)任務(wù)調(diào)度器，它負(fù)bus 程序發(fā)出的任務(wù)調(diào)度，然后啟動相應(yīng)的 Worker 進(jìn)程對 Nimbus 分進(jìn)行計算處理。同時，它也會監(jiān)測由自身啟動的 Worker 進(jìn)程的運(yùn)行現(xiàn)有 Worker 進(jìn)程處于非正常狀態(tài)，就會 Kill 掉這個 Worker 進(jìn)程，給該 Worker 進(jìn)程的任務(wù)交還給 Nimbus，進(jìn)行一個重新分配。Supe著一個主線程和三個副線程，如圖 2.2 所示：

圖 2.1 Storm 系統(tǒng)框架圖節(jié)點(diǎn)被稱為 Worker Node，也被稱為工作節(jié)點(diǎn)，在這些工作節(jié)點(diǎn)當(dāng)中叫 Supervisor 的程序。Supervisor 可以理解為單機(jī)任務(wù)調(diào)度器，它負(fù)bus 程序發(fā)出的任務(wù)調(diào)度，然后啟動相應(yīng)的 Worker 進(jìn)程對 Nimbus 分進(jìn)行計算處理。同時，它也會監(jiān)測由自身啟動的 Worker 進(jìn)程的運(yùn)行現(xiàn)有 Worker 進(jìn)程處于非正常狀態(tài)，就會 Kill 掉這個 Worker 進(jìn)程，給該 Worker 進(jìn)程的任務(wù)交還給 Nimbus，進(jìn)行一個重新分配。Supe著一個主線程和三個副線程，如圖 2.2 所示：

/storm/workerbeats/<topology-id>/node-port計信息。/storm/storms/<topology-id>存儲 Topology 計算應(yīng)用的名字、運(yùn)行狀態(tài)、并行度設(shè)置、啟動時間等信息。在運(yùn)行過程中，這里的數(shù)據(jù)是不會變化的。/storm/assignments/<topology-id>存儲了Nimbus進(jìn)程為每個Topology計算應(yīng)用所分配的任務(wù)信息。主要包括 Supervisor 與主機(jī)名的映射關(guān)系、工作線程的啟動時間等。/storm/supervisor/<supervisor-id>存儲了 Supervisor 所在節(jié)點(diǎn)的更新時間、主機(jī)名、supervisor-id、已經(jīng)使用的 slot 列表等運(yùn)行統(tǒng)計信息/storm/errors/<topology-id>/<component-id>/<sequential-id>記錄了運(yùn)行過程中，每個組件發(fā)生錯誤的信息。但是每個組件只會保存最近的 10 條錯誤信息。

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 彭宇;龐景月;劉大同;彭喜元;;大數(shù)據(jù):內(nèi)涵、技術(shù)體系與展望[J];電子測量與儀器學(xué)報;2015年04期

2 崔星燦;禹曉輝;劉洋;呂朝陽;;分布式流處理技術(shù)綜述[J];計算機(jī)研究與發(fā)展;2015年02期

本文編號：2798259