隨著大數(shù)據(jù)應(yīng)用場景的需求不斷發(fā)展,流計(jì)算逐漸成為一種主流計(jì)算模式。流式應(yīng)用通常需要持續(xù)地運(yùn)行,在這個(gè)過程中難免要受到各類軟硬件故障的影響,在分布式環(huán)境下故障的發(fā)生則會(huì)更加頻繁。因此,在不影響實(shí)時(shí)性的情況下保證流處理應(yīng)用的高可靠性是流計(jì)算領(lǐng)域的研究熱點(diǎn)。在流處理的主流容錯(cuò)方法中,相較于需要高昂備份資源的主動(dòng)備份,結(jié)合被動(dòng)備份和上游備份的檢查點(diǎn)機(jī)制是當(dāng)前較為高效的容錯(cuò)手段。當(dāng)采用檢查點(diǎn)的容錯(cuò)方法時(shí),選擇合適的檢查點(diǎn)周期是保障流應(yīng)用平穩(wěn)運(yùn)行的關(guān)鍵。以Apache Flink為代表的流處理系統(tǒng)目前只支持固定周期的檢查點(diǎn),難以在動(dòng)態(tài)變化的流應(yīng)用場景中,對無故障運(yùn)行時(shí)的容錯(cuò)代價(jià)和故障恢復(fù)的成本進(jìn)行較好的權(quán)衡。本文首先研究了基于柵欄的檢查點(diǎn)機(jī)制的容錯(cuò)開銷,具體分析了流應(yīng)用運(yùn)行過程中檢查點(diǎn)和故障恢復(fù)對于系統(tǒng)性能的影響程度,同時(shí)得出影響檢查點(diǎn)運(yùn)行時(shí)開銷和故障恢復(fù)開銷的主要因素。結(jié)合對檢查點(diǎn)容錯(cuò)代價(jià)的分析,本文研究在負(fù)載、故障等環(huán)境指標(biāo)動(dòng)態(tài)變化的情況下,通過基于強(qiáng)化學(xué)習(xí)的方法,對檢查點(diǎn)間隔進(jìn)行動(dòng)態(tài)的自適應(yīng)調(diào)整,在避免對流應(yīng)用整體環(huán)境的建模的同時(shí),面向處理延遲和故障恢復(fù)時(shí)間進(jìn)行自適應(yīng)優(yōu)化,基于Flink平臺... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題來源
    1.2 課題研究背景和意義
    1.3 國內(nèi)外研究現(xiàn)狀
        1.3.1 流計(jì)算的主流容錯(cuò)方法
        1.3.2 基于檢查點(diǎn)機(jī)制的容錯(cuò)方法
        1.3.3 檢查點(diǎn)間隔優(yōu)化方法
        1.3.4 動(dòng)態(tài)檢查點(diǎn)間隔優(yōu)化方法
        1.3.5 現(xiàn)有研究的不足
    1.4 本文的主要研究內(nèi)容
    1.5 論文組織結(jié)構(gòu)
第2章 系統(tǒng)模型描述
    2.1 分布式流處理系統(tǒng)模型
    2.2 FLINK系統(tǒng)模型
        2.2.1 FLINK主從運(yùn)行架構(gòu)
        2.2.2 FLINK作業(yè)狀態(tài)管理
    2.3 基于柵欄的檢查點(diǎn)容錯(cuò)模型
        2.3.1 基于柵欄的異步檢查點(diǎn)
        2.3.2 故障恢復(fù)模型
    2.4 強(qiáng)化學(xué)習(xí)模型
    2.5 本章小結(jié)
第3章 檢查點(diǎn)優(yōu)化問題建模和容錯(cuò)代價(jià)分析
    3.1 問題建模
    3.2 檢查點(diǎn)運(yùn)行時(shí)容錯(cuò)代價(jià)分析
    3.3 故障恢復(fù)容錯(cuò)代價(jià)分析
    3.4 本章小結(jié)
第4章 動(dòng)態(tài)檢查點(diǎn)間隔調(diào)整算法設(shè)計(jì)與實(shí)現(xiàn)
    4.1 算法設(shè)計(jì)
    4.2 算法開銷分析
    4.3 基于FLINK平臺的算法實(shí)現(xiàn)
    4.4 本章小結(jié)
第5章 實(shí)驗(yàn)設(shè)計(jì)與分析
    5.1 實(shí)驗(yàn)環(huán)境
    5.2 實(shí)驗(yàn)設(shè)置
    5.3 實(shí)驗(yàn)結(jié)果分析
        5.3.1 檢查點(diǎn)間隔變化情況對比
        5.3.2 元組處理延遲對比
        5.3.3 故障恢復(fù)時(shí)間對比
    5.4 本章小結(jié)
結(jié)論和展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其他研究成果
致謝



本文編號：3182687