【摘要】：提出了MapReduce多組容錯(cuò)機(jī)制,在傳統(tǒng)的Hadoop MapReduce架構(gòu)上進(jìn)行改進(jìn),即在同機(jī)柜中的TaskTracker節(jié)點(diǎn)之間增加了多組關(guān)系,這樣可以縮短發(fā)現(xiàn)失效節(jié)點(diǎn)的時(shí)間,同時(shí)減輕JobTracker節(jié)點(diǎn)的負(fù)荷,減低了帶寬使用率,減少網(wǎng)絡(luò)擁塞.通過實(shí)驗(yàn)證明,MapReduce多組容錯(cuò)機(jī)制提高了MapReduce的工作效率.
[Abstract]:In this paper, a multi-group fault-tolerant mechanism of MapReduce is proposed, which is improved on the traditional Hadoop MapReduce architecture, that is, the multi-group relations between the TaskTracker nodes in the same cabinet are added, which can shorten the time of finding the failure nodes and reduce the load of the JobTracker nodes. Reduce bandwidth utilization, reduce network congestion. It is proved by experiments that the multigroup fault-tolerant mechanism of MapReduce improves the efficiency of MapReduce.
【作者單位】： 河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：河南省軟件科學(xué)研究(102400450064)
【分類號】：TP302.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 王晉川;何宏;張福臨;;MapReduce框架與調(diào)度容錯(cuò)機(jī)制研究[J];中國儲運(yùn);2010年12期

2 王鄂;李銘;;云計(jì)算下的海量數(shù)據(jù)挖掘研究[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2009年11期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張雪英;朱少楠;徐希濤;;基于Neogeography的中文地名詞典維護(hù)和服務(wù)機(jī)制[J];測繪通報(bào);2012年01期

2 閆振東;高斌;;一種海量軍事信息的數(shù)據(jù)云管理系統(tǒng)[J];電訊技術(shù);2011年06期

3 朱敏;萬劍怡;王明文;;基于MR的并行決策樹分類算法的設(shè)計(jì)與實(shí)現(xiàn)[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年01期

4 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

5 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

6 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

7 劉靜;李躍輝;楊苗苗;許靜;;基于MapReduce的電信客戶流失決策樹算法研究[J];電腦知識與技術(shù);2013年30期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

9 程苗;;基于云計(jì)算的經(jīng)濟(jì)預(yù)測系統(tǒng)研究[J];激光雜志;2011年02期

10 向小軍;高陽;商琳;楊育彬;;基于Hadoop平臺的海量文本分類的并行化[J];計(jì)算機(jī)科學(xué);2011年10期

相關(guān)會議論文 前1條

1 安倫;周斌;賈焰;;在線Web挖掘中的計(jì)算資源動態(tài)平衡[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

相關(guān)博士學(xué)位論文 前10條

1 徐河杭;面向PLM的數(shù)據(jù)挖掘技術(shù)和應(yīng)用研究[D];浙江大學(xué);2010年

2 方雷;基于云計(jì)算的土地資源服務(wù)高效處理平臺關(guān)鍵技術(shù)探索與研究[D];浙江大學(xué);2011年

3 余偉;經(jīng)濟(jì)模型的構(gòu)建與預(yù)測方法的研究[D];華南理工大學(xué);2012年

4 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

5 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

6 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

7 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

8 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

9 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

10 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 杜雅紅;基于云計(jì)算平臺的圖算法研究[D];北京郵電大學(xué);2011年

2 張敏;云計(jì)算環(huán)境下的并行數(shù)據(jù)挖掘策略研究[D];南京郵電大學(xué);2011年

3 程苗;云計(jì)算技術(shù)在web日志挖掘中的應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2011年

4 李輝;基于云計(jì)算環(huán)境的web結(jié)構(gòu)挖掘算法研究[D];浙江理工大學(xué);2012年

5 邰建華;Hadoop平臺下的海量數(shù)據(jù)存儲技術(shù)研究[D];東北石油大學(xué);2012年

6 朱曉峰;面向海量數(shù)據(jù)的快速挖掘算法研究[D];南京郵電大學(xué);2012年

7 謝韜;基于數(shù)據(jù)挖掘的GSM-R網(wǎng)絡(luò)傳輸干擾分析與應(yīng)用[D];浙江大學(xué);2013年

8 李筱;面向異構(gòu)多核系統(tǒng)的并行計(jì)算模型和調(diào)度算法研究[D];湖南大學(xué);2012年

9 馮懿;基于云計(jì)算的電力系統(tǒng)不良數(shù)據(jù)辨識算法研究[D];南京理工大學(xué);2013年

10 朱安柱;基于Hadoop的Apriori算法改進(jìn)與移植的研究[D];華中科技大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 于蕾;劉大有;高瀅;田野;;改進(jìn)SPRINT算法及其在分布式環(huán)境下的研究[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2008年06期

2 魏紅寧;基于SPRINT方法的并行決策樹分類研究[J];計(jì)算機(jī)應(yīng)用;2005年01期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李倩;;云計(jì)算與網(wǎng)格計(jì)算[J];山西電子技術(shù);2010年05期

2 賈海燕;;云計(jì)算在互動電視上的應(yīng)用[J];產(chǎn)業(yè)與科技論壇;2011年01期

3 鄭牡丹;;云計(jì)算理論初探[J];硅谷;2011年12期

4 吳吉義;傅建慶;張明西;平玲娣;;云數(shù)據(jù)管理研究綜述[J];電信科學(xué);2010年05期

5 喬文寶;;云計(jì)算應(yīng)用中的不足及改進(jìn)建議[J];電腦知識與技術(shù);2010年16期

6 袁婧;;云計(jì)算在信息技術(shù)教育教學(xué)中的應(yīng)用與展望[J];教育教學(xué)論壇;2010年18期

7 祝建武;;基于云計(jì)算的存儲服務(wù)器技術(shù)與趨勢分析[J];軟件導(dǎo)刊;2011年04期

8 朱超;;基于虛擬化技術(shù)構(gòu)建高校分布式云計(jì)算數(shù)據(jù)中心[J];武漢工程大學(xué)學(xué)報(bào);2011年04期

9 甘鵬飛;;云環(huán)境下的個(gè)人知識管理探討[J];軟件導(dǎo)刊;2011年05期

10 郭培賢;;云計(jì)算在航空氣象領(lǐng)域的展望[J];數(shù)字技術(shù)與應(yīng)用;2011年10期

相關(guān)會議論文 前10條

1 王劍鋒;;“虛擬”豐“云”——虛擬化和云計(jì)算技術(shù)淺析[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2009年

2 涂艷麗;;云計(jì)算及在IT支撐系統(tǒng)中的應(yīng)用[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（上）[C];2009年

3 崔云飛;劉東;李昀;;云計(jì)算:一種新型服務(wù)計(jì)算模式[A];2008年中國高校通信類院系學(xué)術(shù)研討會論文集（下冊）[C];2009年

4 高世峰;吳迪;陳正捷;;“云計(jì)算”及其應(yīng)用研究初探[A];全國第二屆信號處理與應(yīng)用學(xué)術(shù)會議�？痆C];2008年

5 王新燕;范金剛;;初探云計(jì)算[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會論文集[C];2010年

6 丁輝;趙煒妹;;基于云計(jì)算應(yīng)用一級部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

7 曾文英;趙躍龍;尚敏;;云計(jì)算及云存儲生態(tài)系統(tǒng)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

8 孫巍;孫寶華;;企業(yè)云計(jì)算調(diào)研與應(yīng)用[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（上冊）[C];2011年

9 何川;羅新華;秦虎;高彬;;云計(jì)算在裝備科研領(lǐng)域的應(yīng)用[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

10 陳紅;任怡;劉曉建;;云計(jì)算平臺下計(jì)費(fèi)機(jī)制研究[A];CCF NCSC 2011——第二屆中國計(jì)算機(jī)學(xué)會服務(wù)計(jì)算學(xué)術(shù)會議論文集[C];2011年

相關(guān)重要報(bào)紙文章 前4條

1 李獻(xiàn);不再遙遠(yuǎn)的高性能計(jì)算機(jī)[N];計(jì)算機(jī)世界;2006年

2 朗飛;為集群計(jì)算系統(tǒng)選存儲[N];中國計(jì)算機(jī)報(bào);2006年

3 高博;給超級計(jì)算機(jī)更換“心臟”[N];電腦報(bào);2007年

4 本報(bào)記者 王皓;Linux集群再升華[N];計(jì)算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前10條

1 陳海波;云計(jì)算平臺可信性增強(qiáng)技術(shù)的研究[D];復(fù)旦大學(xué);2008年

2 劉航;WMSNs在云計(jì)算中心節(jié)能減排中的關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2011年

3 張小慶;基于云計(jì)算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

4 馮振乾;云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬隔離技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

5 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 孫鑫;面向云環(huán)境數(shù)據(jù)中心的高效資源調(diào)度機(jī)制研究[D];北京郵電大學(xué);2012年

7 王智明;云數(shù)據(jù)中心資源調(diào)度機(jī)制研究[D];北京郵電大學(xué);2012年

8 吳吉義;基于DHT的開放對等云存儲服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

9 楊際祥;并行與分布式計(jì)算負(fù)載均衡問題研究[D];大連理工大學(xué);2012年

10 李錚;多媒體云計(jì)算平臺關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 趙志雄;基于云計(jì)算的電信通信網(wǎng)絡(luò)關(guān)系分析技術(shù)研究與應(yīng)用[D];北京郵電大學(xué);2012年

2 柳妃妃;云計(jì)算環(huán)境下可證明數(shù)據(jù)持有技術(shù)研究[D];上海交通大學(xué);2011年

3 白超;基于并行計(jì)算的海量日志分析系統(tǒng)實(shí)現(xiàn)[D];安徽大學(xué);2013年

4 裴曉強(qiáng);云計(jì)算環(huán)境下的容錯(cuò)存儲技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

5 張晨;云計(jì)算在IDC中的應(yīng)用與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

6 潘鈺;云計(jì)算平臺中的能耗管理方法[D];南京郵電大學(xué);2013年

7 汪楠;基于OpenStack云平臺的計(jì)算資源動態(tài)調(diào)度及管理[D];大連理工大學(xué);2013年

8 劉海平;基于主從備份的云計(jì)算容錯(cuò)調(diào)度算法研究[D];浙江工商大學(xué);2010年

9 張密密;MapReduce模型在Hadoop實(shí)現(xiàn)中的性能分析及改進(jìn)優(yōu)化[D];電子科技大學(xué);2010年

10 閆新河;云計(jì)算下自主診斷與自我修復(fù)研究[D];電子科技大學(xué);2011年

，

本文編號：2163775