發(fā)布時(shí)間：2018-10-22 17:46

【摘要】：極限學(xué)習(xí)機(jī)算法雖然訓(xùn)練速度較快,但包含了大量矩陣運(yùn)算,因此其在面對(duì)大數(shù)據(jù)量時(shí),處理效率依然緩慢。在充分研究Spark分布式數(shù)據(jù)集并行計(jì)算機(jī)制的基礎(chǔ)上,設(shè)計(jì)了核心環(huán)節(jié)矩陣乘法的并行計(jì)算方案,并對(duì)基于Spark的極限學(xué)習(xí)機(jī)并行化算法進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。為方便性能比較,同時(shí)實(shí)現(xiàn)了基于Hadoop MapReduce的極限學(xué)習(xí)機(jī)并行化算法。實(shí)驗(yàn)結(jié)果表明,基于Spark的極限學(xué)習(xí)機(jī)并行化算法相比于Hadoop MapReduce版本的運(yùn)行時(shí)間明顯縮短,而且若處理數(shù)據(jù)量越大,Spark在效率方面的優(yōu)勢(shì)就越明顯。
[Abstract]:Although the training speed of extreme learning machine is fast, it contains a large number of matrix operations, so its processing efficiency is still slow in the face of large amount of data. On the basis of fully studying the parallel computing mechanism of Spark distributed data set, the parallel computing scheme of matrix multiplication of core link is designed, and the parallel algorithm of extreme learning machine based on Spark is designed and implemented. In order to facilitate performance comparison, parallel algorithm of extreme learning machine based on Hadoop MapReduce is implemented at the same time. The experimental results show that the running time of the parallel algorithm based on Spark is significantly shorter than that of the Hadoop MapReduce version, and the more data is processed, the more obvious the efficiency of Spark is.
【作者單位】： 中國(guó)礦業(yè)大學(xué)物聯(lián)網(wǎng)(感知礦山)研究中心;礦山互聯(lián)網(wǎng)應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室;中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院;南京大學(xué)計(jì)算機(jī)系PASA大數(shù)據(jù)實(shí)驗(yàn)室;
【基金】：國(guó)家重點(diǎn)研發(fā)計(jì)劃:礦山安全生產(chǎn)物聯(lián)網(wǎng)關(guān)鍵技術(shù)與裝備研發(fā)(2017YFC0804400,2017YFC0804401) 國(guó)家自然科學(xué)基金項(xiàng)目(61471361,41302203)資助
【分類號(hào)】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前5條

1 趙世光,陳文培,嚴(yán)雋琪;港口機(jī)械產(chǎn)品制造生產(chǎn)過(guò)程的并行化改造[J];機(jī)械工程師;1999年07期

2 薛曉青,劉德貴,宋曉秋;發(fā)汗控制方程差分解法的并行化[J];系統(tǒng)工程與電子技術(shù);1996年09期

3 沈占鋒;駱劍承;吳煒;胡曉東;;遙感影像均值漂移分割算法的并行化實(shí)現(xiàn)[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2010年05期

4 余永紅;向小軍;商琳;;并行化的情感分類算法的研究[J];計(jì)算機(jī)科學(xué);2013年06期

5 曹琰;魏強(qiáng);王清賢;丁文博;;基于集中式存儲(chǔ)的全局約束并行相容模型[J];計(jì)算機(jī)應(yīng)用研究;2013年11期

相關(guān)碩士學(xué)位論文 前5條

1 梁雪琦;極限學(xué)習(xí)機(jī)并行化算法及在NO_x排放預(yù)測(cè)中的應(yīng)用[D];太原理工大學(xué);2016年

2 付小利;并行化深度學(xué)習(xí)算法及其應(yīng)用研究[D];西南交通大學(xué);2016年

3 高彥明;蟻群算法并行化研究[D];蘇州大學(xué);2005年

4 皮興杰;基于Spark的電網(wǎng)大數(shù)據(jù)統(tǒng)計(jì)中等值連接問(wèn)題的優(yōu)化及其應(yīng)用[D];重慶大學(xué);2016年

5 莊鐘杰;基于MPI的并行化剛體動(dòng)力學(xué)仿真[D];華南理工大學(xué);2013年

，

本文編號(hào)：2287874