本文關(guān)鍵詞：內(nèi)存計(jì)算框架局部數(shù)據(jù)優(yōu)先拉取策略　出處：《計(jì)算機(jī)研究與發(fā)展》2017年04期 　論文類型：期刊論文

  更多相關(guān)文章： 內(nèi)存計(jì)算 任務(wù)分配 作業(yè)調(diào)度 分配效能熵 節(jié)點(diǎn)貢獻(xiàn)度 異構(gòu)環(huán)境

【摘要】：內(nèi)存計(jì)算框架的低延遲特性大幅提高了集群的計(jì)算效率,但Shuffle過程的性能瓶頸仍不可規(guī)避.寬依賴的同步操作導(dǎo)致大多數(shù)工作節(jié)點(diǎn)等待慢節(jié)點(diǎn)的計(jì)算結(jié)果,同步過程不僅浪費(fèi)計(jì)算資源,更增加了作業(yè)延時(shí),這一現(xiàn)象在異構(gòu)集群環(huán)境下尤為突出.針對(duì)內(nèi)存計(jì)算框架Shuffle操作的同步問題,建立了資源需求模型、執(zhí)行效率模型和任務(wù)分配及調(diào)度模型.給出了分配效能熵(allocation efficiency entropy,AEE)和節(jié)點(diǎn)貢獻(xiàn)度(worker contribution degree,WCD)的定義,提出了算法的優(yōu)化目標(biāo).根據(jù)模型的相關(guān)定義求解,設(shè)計(jì)了局部數(shù)據(jù)優(yōu)先拉取算法(partial data shuffled first algorithm,PDSF),通過高效節(jié)點(diǎn)優(yōu)先調(diào)度,提高流水線與寬依賴任務(wù)的時(shí)間重合度,減少寬依賴Shuffle過程的同步延時(shí),優(yōu)化集群資源利用率;通過適度傾斜的任務(wù)分配,在保障慢節(jié)點(diǎn)計(jì)算連續(xù)性的前提下,提高分配任務(wù)量與節(jié)點(diǎn)計(jì)算能力的適應(yīng)度,優(yōu)化作業(yè)執(zhí)行效率;通過分析算法的相關(guān)優(yōu)化原則,證明了算法的帕累托最優(yōu)性.實(shí)驗(yàn)表明:PDSF算法提高了內(nèi)存計(jì)算框架的作業(yè)執(zhí)行效率,并使集群資源得到有效利用.
[Abstract]:The low delay characteristic of the memory computing framework greatly improves the computing efficiency of the cluster , but the performance bottleneck of the Shuffle process can not be avoided . The synchronization problem of wide - dependent synchronization causes most work nodes to wait for the computation results of the slow nodes .

【作者單位】： 新疆大學(xué)信息科學(xué)與工程學(xué)院;新疆財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與信息學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61262088,61462079,61363083,61562086) 新疆維吾爾自治區(qū)高校科研計(jì)劃(XJEDU2016S106)~~
【分類號(hào)】：TP311.13;TP333
【正文快照】： 近年來,各行業(yè)應(yīng)用數(shù)據(jù)規(guī)模呈爆炸性增長(zhǎng),大數(shù)據(jù)的4V特性發(fā)生不同程度的變化,表現(xiàn)出增速快、增量大、類型多樣、結(jié)構(gòu)差異明顯等特征[1].傳統(tǒng)的并行計(jì)算系統(tǒng)由于其計(jì)算模型的天生缺陷,在大數(shù)據(jù)處理過程中存在I/O效率低下、并發(fā)控制困難、數(shù)據(jù)處理總體性能較低等諸多問題,難以有

【相似文獻(xiàn)】

相關(guān)期刊論文 前2條

1 藺廣逢;朱虹;范彩霞;張二虎;羅磊;;基于Grassmann流形的多聚類特征選擇[J];計(jì)算機(jī)工程;2012年16期

2 ;[J];;年期

，

本文編號(hào)：1386717