本文關(guān)鍵詞：GraphHP:一個(gè)圖迭代處理的混合平臺(tái)

  更多相關(guān)文章： 圖迭代 分布式計(jì)算 BSP GraphHP

【摘要】：BSP(Bulk Synchronous Parallel,BSP)計(jì)算模型是建立大規(guī)模迭代式圖處理分布式系統(tǒng)的重要基礎(chǔ).現(xiàn)有平臺(tái)(如Pregel、Giraph、Hama)雖然已經(jīng)實(shí)現(xiàn)了較高的可擴(kuò)展性,但主機(jī)之間高頻同步和通信負(fù)荷嚴(yán)重影響了并行計(jì)算的效率.為了解決這個(gè)關(guān)鍵性問題,本文提出了一種基于混合式模型的執(zhí)行平臺(tái)GraphHP(Graph Hybrid Processing).它不僅繼承了以頂點(diǎn)為中心的BSP編程接口,而且能夠顯著減少同步和通信負(fù)荷.通過在圖分區(qū)內(nèi)部和分區(qū)之間建立混合執(zhí)行模型,GraphHP實(shí)現(xiàn)了偽超步迭代計(jì)算,把分區(qū)內(nèi)部計(jì)算從分布式同步和通信中分離出來.這種混合執(zhí)行模型不需要繁重的調(diào)度算法或者以圖為中心的串行算法,就能有效減少同步和通信負(fù)荷.最后,本文評估了經(jīng)典的BSP應(yīng)用在GraphHP平臺(tái)的實(shí)現(xiàn)方式.實(shí)驗(yàn)表明它比現(xiàn)有的BSP實(shí)現(xiàn)平臺(tái)效率更高.本文提出的GraphHP平臺(tái)雖然是基于Hama實(shí)現(xiàn)的,但它很容易遷移到其他的BSP平臺(tái).
【作者單位】： 西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國家973計(jì)劃項(xiàng)目(2012CB316203) 國家863計(jì)劃項(xiàng)目(2015AA015307) 國家自然科學(xué)基金(61332006,61472321,61502390)
【分類號】：TP338.8
【正文快照】： o引言 目前越來越多的大數(shù)據(jù)應(yīng)用都聚焦于具有復(fù)雜數(shù)據(jù)依賴關(guān)系的圖模型,如各種社交網(wǎng)絡(luò)、Web圖、生物基因網(wǎng)絡(luò)等都需要利用圖模型進(jìn)行計(jì)算處理.圖模型的計(jì)算離不開迭代,迭代的本質(zhì)就是對目前系統(tǒng)的一系列狀態(tài)進(jìn)行改變,特別是在大規(guī)模數(shù)據(jù)集中運(yùn)行這類算法時(shí),就需要一種快速，

本文編號：1228037