隨著計算機網(wǎng)絡技術的迅猛發(fā)展以及數(shù)據(jù)獲取手段的不斷豐富,越來越多的領域出現(xiàn)了對海量,高速產(chǎn)生的數(shù)據(jù)進行實時處理的需求,這些數(shù)據(jù)呈現(xiàn)出數(shù)據(jù)量大,時效性強,數(shù)據(jù)到達速度快的特點。然而面對如此龐大的數(shù)據(jù)量,傳統(tǒng)的處理模式已經(jīng)無法在有效時間內(nèi)完成,分布式流處理技術應運而生。隨著大規(guī)模分布式流處理系統(tǒng)的計算規(guī)模逐漸擴大,故障失效成為常態(tài)。系統(tǒng)中由于網(wǎng)絡,電力設備等原因導致大量計算節(jié)點同時失效的情況稱為關聯(lián)失效,嚴重的關聯(lián)失效會導致系統(tǒng)出現(xiàn)長時間宕機無法恢復,因此如何保障系統(tǒng)能夠快速從關聯(lián)失效中恢復正常,保障系統(tǒng)的可用性成為分布式流處理系統(tǒng)中的關鍵性問題�，F(xiàn)有的流處理系統(tǒng)中的容錯機制分為三種:主動熱備技術,每一個計算節(jié)點同時運行一個備用節(jié)點以便于失效時立即替換,成本高昂;檢查點技術,周期性提取檢查點,失效時回滾檢查點,帶來較為明顯的恢復時延;上游備份技術,上游儲存所有數(shù)據(jù),失效恢復時重發(fā),同樣帶來明顯恢復時延。上述容錯機制只針對單一節(jié)點失效的情況,無法解決關聯(lián)失效由于節(jié)點數(shù)量多和節(jié)點之間存在恢復等待,導致恢復時延顯著增加的問題。因此要在極短時間內(nèi)迅速恢復大量節(jié)點并完成所有節(jié)點狀態(tài)同步,為分布式流處... 

【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：55 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文主要研究內(nèi)容
    1.4 論文組織結構
2 分布式流處理系統(tǒng)關聯(lián)容錯機制
    2.1 預備知識
    2.2 流處理模型構建
    2.3 關聯(lián)容錯問題定義
    2.4 基于博弈論的關聯(lián)容錯機制
    2.5 關聯(lián)容錯算法優(yōu)化
    2.6 小結
3 高性能容錯分布式流處理系統(tǒng)Ares
    3.1 系統(tǒng)架構設計
    3.2 系統(tǒng)功能模塊與處理流程
    3.3 系統(tǒng)實現(xiàn)
    3.4 小結
4 系統(tǒng)實驗與分析
    4.1 系統(tǒng)配置
    4.2 實驗方法
    4.3 實驗結果與分析
    4.4 小結
5 總結與展望
致謝
參考文獻
附錄1 攻讀學位期間發(fā)表的論文
附錄2 攻讀學位期間的國家發(fā)明專利
附錄3 攻讀學位期間參與的科研項目



本文編號：3162484