本文關(guān)鍵詞：面向磁盤駐留的類Pregel系統(tǒng)的多級容錯處理機制

  更多相關(guān)文章： 容錯 大規(guī)模圖 迭代計算 BSP模型 檢查點

【摘要】：基于BSP模型的分布式框架已經(jīng)成為大規(guī)模圖高頻迭代處理的有效工具.分布式系統(tǒng)可以通過增加集群節(jié)點數(shù)量的方式提供彈性的處理能力,但同時也增加了故障發(fā)生的概率,因此亟需開發(fā)高效的容錯處理機制.現(xiàn)有工作主要是基于檢查點機制展開研究,包括數(shù)據(jù)備份和故障恢復(fù)2部分:前者沒有考慮迭代過程中參與計算的數(shù)據(jù)規(guī)模的動態(tài)變化,而是備份所有圖數(shù)據(jù),因此引入了冗余數(shù)據(jù)的寫開銷;后者通常是從遠(yuǎn)程存儲節(jié)點上讀取備份數(shù)據(jù)進行故障恢復(fù),而沒有考慮利用本地磁盤數(shù)據(jù)恢復(fù)某些場景下的故障,引入額外的網(wǎng)絡(luò)開銷.因此提出了一種多級容錯處理機制,將故障分為計算任務(wù)故障和計算節(jié)點故障2類,并設(shè)計了不同的備份和恢復(fù)策略.備份階段利用了某些應(yīng)用在迭代計算過程中參與計算的數(shù)據(jù)規(guī)模的動態(tài)變化特性,設(shè)計了完全備份和寫變化log自適應(yīng)選擇的策略,可以顯著減少冗余數(shù)據(jù)的寫開銷.故障恢復(fù)階段,對任務(wù)故障,利用本地磁盤上保留的圖數(shù)據(jù)和遠(yuǎn)程的消息數(shù)據(jù)完成恢復(fù);而對節(jié)點故障,則利用備份在遠(yuǎn)程信息進行恢復(fù).最后,通過在真實數(shù)據(jù)集上的大量實驗,驗證了提出的多級容錯機制的有效性.
【作者單位】： 東北大學(xué)計算機科學(xué)與工程學(xué)院;中國移動(蘇州)軟件技術(shù)有限公司;
【基金】：國家自然科學(xué)基金重點項目(61433008);國家自然科學(xué)基金項目(61173028,61272179) 中央高校基本科研業(yè)務(wù)費專項基金項目(N100704001) 教育部-中國移動科研基金項目(MCM20125021)~~
【分類號】：TP333.3
【正文快照】： This work was supported by the Key Program of the National Natural Science Foundation of China(61433008),the NationalNatural Science Foundation of China(61173028,61272179),the Fundamental Research Funds for the Central Universities(N100704001),and Chines

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 房澤平,戴增輝;單片機系統(tǒng)非正常運行下的容錯處理方法[J];中原工學(xué)院學(xué)報;2005年04期

2 ;[J];;年期

，

本文編號：1175513