本文選題：云計算 + MapReduce�。� 參考：《計算機科學(xué)》2015年05期

【摘要】：隨著云計算技術(shù)的發(fā)展,許多MapReduce運行系統(tǒng)被開發(fā)出來,如Hadoop、Phoenix和Twister等。直觀上,Hadoop具有很強的可擴展性、穩(wěn)定性,適合處理大規(guī)模離線應(yīng)用;Phoenix具有運行速度快等優(yōu)點,適合處理數(shù)據(jù)密集型任務(wù);Twister是輕量級的迭代系統(tǒng),非常適合迭代式的應(yīng)用。不同的應(yīng)用在不同的MapReduce運行系統(tǒng)中有著不同的性能。通過測試不同應(yīng)用在這些運行系統(tǒng)上的性能,給出了實驗比較和性能分析,從而為大數(shù)據(jù)處理時選擇合適的并行編程模型提供依據(jù)。
[Abstract]:With the development of cloud computing technology, many MapReduce operating systems, such as Hadoop Phoenix and Twister, have been developed. Hadoop is intuitively scalable and stable. Phoenix is suitable for dealing with large scale off-line applications and has the advantages of high speed. Twister is a lightweight iterative system suitable for data-intensive tasks and is very suitable for iterative applications. Different applications have different performance in different MapReduce running systems. By testing the performance of different applications on these running systems, the experimental comparison and performance analysis are given, thus providing the basis for big data to select an appropriate parallel programming model.
【作者單位】： 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院;
【基金】：國家自然科學(xué)基金(61175047,61202043),國家自然科學(xué)基金聯(lián)合基金(U1230117) 四川省科技支撐計劃項目(2012RZ0009) 中央高校基本科研業(yè)務(wù)費專項資金(SWJTU11ZT08)資助
【分類號】：TP338.6;TP311.1

【參考文獻】

相關(guān)期刊論文 前2條

1 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報;2011年11期

2 亢麗蕓;王效岳;白如江;;MapReduce原理及其主要實現(xiàn)平臺分析[J];現(xiàn)代圖書情報技術(shù);2012年02期

【共引文獻】

相關(guān)期刊論文 前10條

1 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學(xué)報;2012年11期

2 吳建軍;;網(wǎng)絡(luò)輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術(shù);2013年04期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標準化;2013年10期

4 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

6 黃上星;周凌云;;基于GAE的云計算應(yīng)用開發(fā)[J];大眾科技;2013年10期

7 王曉華;;一種新型的Hadoop本地化測試模型[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2013年19期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

9 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護;2013年22期

10 錢晨;張鵬飛;;中國云計算建設(shè)及技術(shù)開發(fā)方向分析[J];福建電腦;2013年12期

相關(guān)會議論文 前10條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

2 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標優(yōu)化的云計算虛擬集群動態(tài)調(diào)整方法[A];山東計算機學(xué)會2013學(xué)術(shù)年會論文集[C];2013年

3 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計算資源交易模型的研究[A];山東計算機學(xué)會2013學(xué)術(shù)年會論文集[C];2013年

4 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

5 周宇光;陳振義;盛中華;;探索云計算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國科協(xié)年會——分7綠色設(shè)計與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

6 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

7 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

8 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

9 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

10 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設(shè)計[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李煜;基于雙邊市場理論的軟件平臺運營機制研究[D];北京郵電大學(xué);2013年

2 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

3 張帆;認知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

4 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

5 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

6 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

7 卿蘇德;網(wǎng)絡(luò)虛擬化映射算法研究[D];北京郵電大學(xué);2013年

8 史佩昌;云服務(wù)的高效傳遞技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

9 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

10 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 儲超塵;面向SaaS的IT資源綜合監(jiān)控系統(tǒng)及其關(guān)鍵技術(shù)的研究[D];中南大學(xué);2012年

2 解維;分布式圖聚類及其在電子商務(wù)數(shù)據(jù)挖掘中的應(yīng)用[D];東華大學(xué);2013年

3 敖杰剛;分布式并行計算下GML空間數(shù)據(jù)復(fù)制同步更新機制研究[D];江西理工大學(xué);2012年

4 王家惠;移動云計算下位置服務(wù)數(shù)據(jù)管理與應(yīng)用研究[D];大連海事大學(xué);2013年

5 謝磊;基于Bl-PaaS平臺的界面定制技術(shù)的研究與實現(xiàn)[D];北京郵電大學(xué);2013年

6 楊叢聿;基于MapReduce模型的圖像相似度分析[D];北京郵電大學(xué);2013年

7 朱朝鵬;基于云計算的遠程診斷關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2013年

8 吳崇正;基于MapReduce的分布式搜索引擎研究[D];蘭州理工大學(xué);2013年

9 郭德鋒;基于Hadoop的云平臺模型的性能研究與優(yōu)化[D];西北大學(xué);2013年

10 王軍;云計算系統(tǒng)資源調(diào)度及安全性研究[D];武漢理工大學(xué);2013年

【二級參考文獻】

相關(guān)期刊論文 前5條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學(xué)報;2006年S1期

2 廖名學(xué);范植華;;MPI程序同步通信基本模型死鎖檢測[J];電子學(xué)報;2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設(shè)若干思考[J];電子學(xué)報;2010年11期

4 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報;2011年11期

5 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期

【相似文獻】

相關(guān)期刊論文 前10條

1 吳邦雄;;250系統(tǒng)的運行系統(tǒng)[J];通訊裝備;1978年03期

2 趙知友;市場經(jīng)濟的系統(tǒng)性及其宣傳要求[J];新疆新聞界;1993年04期

3 張小飛;;針對社區(qū)環(huán)境的軟件網(wǎng)絡(luò)化運行系統(tǒng)的設(shè)計與實現(xiàn)[J];微計算機信息;2010年36期

4 劉文華;黃東軍;;航空公司現(xiàn)場運行系統(tǒng)的設(shè)計與實現(xiàn)[J];現(xiàn)代計算機;2006年11期

5 張磊;師衛(wèi);;軟PLC運行系統(tǒng)的研究與實現(xiàn)[J];科技情報開發(fā)與經(jīng)濟;2008年11期

6 王亞男;陳嬋娟;;軟PLC運行系統(tǒng)的研究與實現(xiàn)[J];煤炭技術(shù);2012年02期

7 王平，，唐元;中國國民經(jīng)濟運行系統(tǒng)的設(shè)計與實現(xiàn)[J];微型電腦應(yīng)用;1996年03期

8 趙萬杰,羅慧;;對遠距離教育運行系統(tǒng)的探討[J];中國電化教育;1998年10期

9 賀桂香;;北京紫金橋?qū)崟r數(shù)據(jù)運行系統(tǒng)在煉油廠的應(yīng)用[J];自動化應(yīng)用;2011年07期

10 林偉璐,錢宇,李秀喜,鄭秀玉;化工過程集成運行系統(tǒng)的研究[J];化工自動化及儀表;2000年01期

相關(guān)會議論文 前5條

1 李秀喜;錢宇;黃啟明;林偉璐;;化工過程集成運行系統(tǒng)平臺的研究與開發(fā)[A];過程系統(tǒng)工程2001年會論文集[C];2001年

2 芮鈞;徐潔;李永紅;鄭健兵;趙宇;高磊;;基于一體化管控平臺的智能水電廠經(jīng)濟運行系統(tǒng)構(gòu)建[A];2013年電力系統(tǒng)自動化專委會年會論文[C];2013年

3 沈永春;張功鍍;;可編程控制器運行系統(tǒng)的設(shè)計和實現(xiàn)[A];中國儀器儀表學(xué)會2007學(xué)術(shù)年會智能檢測控制技術(shù)及儀表裝置發(fā)展研討會論文集[C];2007年

4 戚明浩;沈?qū)W軍;;優(yōu)化運行系統(tǒng)對鍋爐節(jié)能調(diào)節(jié)的指導(dǎo)作用分析和探討[A];第七屆電力工業(yè)節(jié)能減排學(xué)術(shù)研討會論文集[C];2012年

5 曹春華;;對城市規(guī)劃運行機制的思考[A];中國城市規(guī)劃學(xué)會2002年年會論文集[C];2002年

相關(guān)重要報紙文章 前10條

1 通訊員 許萍萍;煉油與化工運行系統(tǒng)落戶遼河石化[N];中國石油報;2009年

2 記者 王正喜;徐州經(jīng)濟技術(shù)開發(fā)區(qū)行政權(quán)力網(wǎng)上公開運行系統(tǒng)開通[N];徐州日報;2010年

3 吳建榮;大慶政務(wù)公開運行系統(tǒng)全面開通[N];中國紀檢監(jiān)察報;2006年

4 曲先中 唐毓;鍵盤一敲效率高 鼠標一點成本減[N];中國石化報;2007年

5 記者 馮作文;蘭州石化MES系統(tǒng)上線運行[N];中國石油報;2007年

6 肖紅軍 山西高平市建寧煤礦礦長;培育憂患意識 建設(shè)安全文化[N];雞西日報;2008年

7 記者 馮燕平;IT小企業(yè)撬動農(nóng)業(yè)信息化大市場[N];呼和浩特日報(漢);2011年

8 黃靜;我區(qū)率全市之先建立網(wǎng)上政務(wù)大廳[N];溫州日報;2011年

9 邰季;為群眾辦事提供便捷優(yōu)質(zhì)服務(wù)[N];中國紀檢監(jiān)察報;2012年

10 本報記者 張中寶　實習(xí)生 李艾穎;乘客為何不買公交卡的賬[N];海南日報;2011年

相關(guān)博士學(xué)位論文 前1條

1 吳志輝;化工過程計算機集成運行系統(tǒng)及實驗平臺的研究與開發(fā)[D];華南理工大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 張羽;總部級煉油與化工生產(chǎn)運行系統(tǒng)的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2009年

2 王亞男;開放式數(shù)控系統(tǒng)軟PLC運行系統(tǒng)的研究與開發(fā)[D];陜西科技大學(xué);2012年

3 張磊;基于PC的軟PLC運行系統(tǒng)研究與實現(xiàn)[D];太原理工大學(xué);2008年

4 周建香;基于ARM的嵌入式軟PLC運行系統(tǒng)設(shè)計[D];華南理工大學(xué);2010年

5 伊?xí)苑?編譯型PLC運行系統(tǒng)的設(shè)計與實現(xiàn)[D];山東輕工業(yè)學(xué)院;2010年

6 田釗;基于一類混合Petri網(wǎng)的列車運行系統(tǒng)中沖突因素的分析[D];鄭州大學(xué);2011年

7 高進;軟PLC運行系統(tǒng)的研究[D];西華大學(xué);2010年

8 周清;基于混合Petri網(wǎng)的列車運行系統(tǒng)中時間推理問題的研究[D];鄭州大學(xué);2010年

9 侯一波;自適應(yīng)人機界面在生產(chǎn)運行系統(tǒng)中的應(yīng)用[D];天津大學(xué);2009年

10 王靜思;基于語言轉(zhuǎn)換的嵌入式軟PLC系統(tǒng)的研究與設(shè)計[D];華中科技大學(xué);2011年

本文編號：1781834