【摘要】：針對合理管理MapReduce作業(yè)內存資源困難的問題,提出評估方法并給出優(yōu)化配置建議。首先分析Java虛擬機的內存分配與垃圾回收的原理,給出垃圾回收重要指標;其次提出內存分配合理性評估的3種指標和評估方法;最后根據(jù)評估結果給出2種優(yōu)化配置建議:一是通過使用聚類算法和統(tǒng)計信息來估計晉升對象大小閾值,優(yōu)化Java虛擬機的對象分配和垃圾回收性能;二是使用回歸模型和搜索算法來預測作業(yè)合理的內存配置。實驗結果表明,提出的方法能自動發(fā)現(xiàn)作業(yè)內存配置的不足并給出優(yōu)化的配置建議。與采用機器學習方法相比,提出的方法不需要運行大量的測試,因此該方法能很好適用于MapReduce的生產集群環(huán)境。
[Abstract]:Aiming at the difficulty of reasonably managing the memory resources of MapReduce jobs, this paper puts forward an evaluation method and gives some suggestions for optimizing configuration. Firstly, the principle of memory allocation and garbage collection of Java virtual machine is analyzed, and the important indexes of garbage collection are given. Finally, two kinds of optimal configuration suggestions are given according to the evaluation results: first, the threshold of promotion object size is estimated by using clustering algorithm and statistical information, and the object allocation and garbage collection performance of Java virtual machine are optimized; Second, the regression model and search algorithm are used to predict the reasonable memory allocation of the job. The experimental results show that the proposed method can automatically detect the shortcomings of job memory configuration and give the optimized configuration suggestions. Compared with the machine learning method, the proposed method does not need to run a lot of tests, so this method can be applied to the production cluster environment of MapReduce.
【作者單位】： 四川大學計算機學院網絡與可信計算研究所;
【基金】：國家科技支撐計劃資助項目(2012BAH18B05)
【分類號】：TP333.1

【參考文獻】

相關期刊論文 前1條

1 周世龍;陳興蜀;羅永剛;;基于灰盒模型的Hadoop MapReduce job參數(shù)性能分析與預測[J];四川大學學報(工程科學版);2014年S1期

【相似文獻】

相關期刊論文 前10條

1 ;天津:將建電子垃圾回收中心[J];中國信息界;2005年16期

2 馬安嶺;陳德平;;淺談垃圾回收機制[J];儀器儀表用戶;2006年06期

3 孫青;鄭永果;;MS.NET FRAMEWORK垃圾回收算法的實現(xiàn)研究[J];福建電腦;2006年08期

4 冉彥中;張智剛;曹婧華;楊可揚;;C#垃圾回收機制驗證實驗的設計與實現(xiàn)[J];長春師范學院學報;2013年10期

5 黃昆;;電子垃圾回收產業(yè)化之路[J];中國計算機用戶;2008年23期

6 暢鵬;;分布式垃圾回收算法分析[J];太原大學學報;2010年04期

7 劉云生;呂志華;;嵌入式實時垃圾回收機制的分析與實現(xiàn)[J];計算機工程與科學;2006年08期

8 張鵬飛;錢敏;;Java垃圾回收新算法芻探[J];微型機與應用;2011年02期

9 阿濤;電子垃圾回收期待產業(yè)化[J];數(shù)碼世界;2003年03期

10 武新麗;;淺談.NET Framework中的垃圾回收機制[J];廊坊師范學院學報(自然科學版);2012年05期

相關會議論文 前4條

1 袁偉東;楊謙;;運用生活垃圾回收生物技術改造西部土壤[A];民革全國西部大開發(fā)研討會論文集[C];2000年

2 柯建飛;;電子垃圾回收立法動向探微[A];水污染防治立法和循環(huán)經濟立法研究——2005年全國環(huán)境資源法學研討會論文集（第二冊）[C];2005年

3 張姝妍;;關于電子垃圾回收處理對策的研究[A];中國環(huán)境保護優(yōu)秀論文集（2005）（下冊）[C];2005年

4 鄭良楷;霍霞;李燕;韓岱;顧成武;陳剛建;劉俊曉;陳松建;;電子垃圾回收拆解區(qū)兒童血鉛鎘水平及ALAD基因多態(tài)性研究[A];2007年中國解剖學會第十屆全國組織學與胚胎學青年學術研討會論文摘要匯編[C];2007年

相關重要報紙文章 前10條

1 劉友存;氣動垃圾回收系統(tǒng)成為韓國新的鋼管消費領域[N];中國冶金報;2007年

2 記者　 項文淵 盧慶紅;石筧鄉(xiāng)建起垃圾回收站[N];麗水日報;2006年

3 國富;珠海垃圾回收業(yè)如何發(fā)展？[N];珠海特區(qū)報;2007年

4 記者 李學梅;生活垃圾回收,為法國帶來豐厚回報[N];新華每日電訊;2009年

5 李松梧　中國城市建設研究院總工程師 徐海云;垃圾回收合作社能建否？[N];中國環(huán)境報;2009年

6 記者杜磊;州直各縣積極籌建醫(yī)療垃圾回收站[N];伊犁日報(漢);2009年

7 鄭麗華;我市有了電子垃圾回收機構[N];太原日報;2010年

8 本報記者 魏星奎;農村可利用垃圾回收處理[N];綿陽日報;2011年

9 周海龍;加強電子垃圾回收處理[N];團結報;2013年

10 記者 王曄君;電子垃圾回收首度“觸網”[N];北京商報;2013年

相關碩士學位論文 前10條

1 毛浪;城市生活垃圾回收網絡優(yōu)化研究[D];湖南大學;2011年

2 劉麗麗;城市生活垃圾回收利用系統(tǒng)設計[D];中南大學;2013年

3 許靜;我國電子垃圾回收處理法律制度研究[D];長安大學;2010年

4 杜武;廬山旅游垃圾回收設施設計研究[D];南昌大學;2013年

5 劉莉;基于多層次建模和GIS的垃圾回收行為模型研究[D];重慶大學;2003年

6 甘賽雄;城市垃圾回收方式及工具創(chuàng)新設計[D];南昌大學;2012年

7 王豫煒;城市垃圾回收嵌入式車載系統(tǒng)設計[D];北京化工大學;2013年

8 楊歆;農村家庭生活垃圾回收政策效果的實證分析[D];西北大學;2013年

9 徐鍵;城市垃圾回收設施設計研究[D];江南大學;2007年

10 梁宏鑫;電能受限的手持設備中KVM的移植與性能調優(yōu)[D];上海交通大學;2007年

，

本文編號：2319185