隨著大規(guī)模流數(shù)據(jù)處理和分析技術(shù)的快速發(fā)展,近年來分布式流處理系統(tǒng)已被公認(rèn)為解決大規(guī)模數(shù)據(jù)流問題的有效方法。因其擁有很強(qiáng)的并行處理能力和系統(tǒng)可擴(kuò)展性,成為廣受關(guān)注的新型分布式系統(tǒng)。隨著分布式系統(tǒng)規(guī)模不斷擴(kuò)展,系統(tǒng)故障率攀升,可靠性問題加劇。生產(chǎn)環(huán)境的數(shù)據(jù)處理集群已突破萬節(jié)點級別例如Google和Facebook等,此規(guī)模的分布式系統(tǒng)每天產(chǎn)生數(shù)個節(jié)點錯誤。因此,故障容錯成為分布式流處理系統(tǒng)中至關(guān)重要的問題。分布式流處理系統(tǒng)迫切需要完善的故障容錯支撐,主要有三方面原因。第一,流數(shù)據(jù)one pass的處理模式,導(dǎo)致珍貴的信息將在故障中永久性丟失,造成無法挽回的損失。流處理系統(tǒng)對容錯開銷和延遲有嚴(yán)格限制。第二,新的彈性流處理系統(tǒng)能滿足流處理中無縫適應(yīng)負(fù)載變化的要求,但也引入了容錯問題的新挑戰(zhàn)。第三,流數(shù)據(jù)負(fù)載不斷變化,現(xiàn)有靜態(tài)容錯策略難以適應(yīng),引起不必要的運行開銷,從而導(dǎo)致較低的節(jié)點級處理效率。圍繞上述三個方面,本文的具體工作和主要貢獻(xiàn)包括:（1）提出一種支持分布式流處理的低開銷容錯機(jī)制以及相關(guān)協(xié)議。所提出的機(jī)制和協(xié)議面向分布式流數(shù)據(jù)處理的實際容錯需求,以實時流處理模型為基礎(chǔ),構(gòu)建檢查點異步更新... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：117 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
        1.1.1 分布式流數(shù)據(jù)處理
        1.1.2 系統(tǒng)可靠性問題與容錯機(jī)制
        1.1.3 流數(shù)據(jù)處理容錯技術(shù)的挑戰(zhàn)
    1.2 本文主要內(nèi)容
    1.3 論文組織結(jié)構(gòu)
第2章 相關(guān)研究現(xiàn)狀
    2.1 分布式流數(shù)據(jù)處理系統(tǒng)
        2.1.1 基于流式計算模型
        2.1.2 基于批量計算模型
    2.2 流處理自動并行化技術(shù)
    2.3 容錯技術(shù)
        2.3.1 主動式備份
        2.3.2 被動式備份
    2.4 本章小結(jié)
第3章 支持分布式流處理的低開銷容錯機(jī)制
    3.1 引言
    3.2 相關(guān)工作
    3.3 通用分布式流處理框架
    3.4 系統(tǒng)模型
        3.4.1 流數(shù)據(jù)處理作業(yè)
        3.4.2 節(jié)點運行狀態(tài)
    3.5 低開銷容錯機(jī)制
        3.5.1 異步檢查點
        3.5.2 上游數(shù)據(jù)備份
    3.6 容錯協(xié)議及算法
        3.6.1 上游備份協(xié)議
        3.6.2 協(xié)議開銷分析
        3.6.3 快速恢復(fù)算法
    3.7 實驗結(jié)果與性能分析
        3.7.1 系統(tǒng)原型實現(xiàn)
        3.7.2 實驗設(shè)置
        3.7.3 容錯通訊開銷
        3.7.4 容錯延遲開銷
        3.7.5 容錯內(nèi)存開銷
        3.7.6 故障恢復(fù)測試
    3.8 本章小結(jié)
第4章 支持彈性流處理的自適應(yīng)容錯機(jī)制
    4.1 引言
    4.2 相關(guān)工作
    4.3 彈性流處理下容錯問題建模
        4.3.1 問題概述
        4.3.2 備份調(diào)整函數(shù)
        4.3.3 問題模型假設(shè)
    4.4 支持彈性流處理的自適應(yīng)容錯機(jī)制
        4.4.1 彈性數(shù)據(jù)備份單元
        4.4.2 數(shù)據(jù)依賴關(guān)系追蹤
        4.4.3 在線檢查點調(diào)整機(jī)制
    4.5 在線調(diào)整容錯協(xié)議
    4.6 實驗與結(jié)果分析
        4.6.1 系統(tǒng)原型實現(xiàn)
        4.6.2 實驗設(shè)置
        4.6.3 容錯開銷測試
        4.6.4 故障恢復(fù)測試
        4.6.5 綜合性能比較
    4.7 本章總結(jié)
第5章 負(fù)載感知的最佳檢查點間隔策略
    5.1 引言
    5.2 相關(guān)工作
    5.3 最優(yōu)檢查點問題建模
        5.3.1 系統(tǒng)模型
        5.3.2 處理效率
        5.3.3 問題定義
    5.4 動態(tài)最優(yōu)檢查點間隔(DOCI)模型
        5.4.1 在線恢復(fù)時間預(yù)測
        5.4.2 最佳檢查點時間間隔
    5.5 動態(tài)OCI調(diào)整策略
        5.5.1 動態(tài)OCI調(diào)整算法
        5.5.2 緩存對OCI的影響
    5.6 實驗與結(jié)果分析
        5.6.1 模擬方法
        5.6.2 恒定輸入率下的效率測試
        5.6.3 工作量波動下的效率測試
        5.6.4 備份緩存區(qū)容量的影響測試
    5.7 應(yīng)用場景
    5.8 本章總結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 未來研究展望
參考文獻(xiàn)
作者簡介及科研成果
致謝



本文編號：3172907