【摘要】：為了提高大數(shù)據(jù)文件的存取效率,滿足各類用戶的需求,通常采用對該文件進行分塊、冗余副本等機制進行存儲,關于設置塊大小、副本個數(shù)和塊部署等存儲機制的研究一直是該領域研究重點.根據(jù)用戶對內(nèi)容塊興趣需求,我們定義了數(shù)據(jù)塊的熱度并提出了一種滿足用戶需求的存儲數(shù)據(jù)塊的最小服務成本策略(MCSB).在成本矩陣的基礎上,通過引入與數(shù)據(jù)塊熱度相關的成本矩陣調(diào)整因子,使得熱度較低的數(shù)據(jù)塊被優(yōu)先部署,實現(xiàn)了在不改變存儲數(shù)據(jù)塊的最小服務總成本的情況下,內(nèi)容存取服務性能的提高.基于該策略,以Hadoop中的缺省數(shù)據(jù)塊存儲策略為控制組,通過在HDFS系統(tǒng)中實現(xiàn)MCSB,并對MCSB進行了較為詳細的分析.實驗結(jié)果顯示MCSB策略能夠在滿足最小服務成本的情況下,具有更短的系統(tǒng)平均響應時間.進一步考慮到數(shù)據(jù)存儲節(jié)點由服務器集群承擔的事實,對基于不同負載下的數(shù)據(jù)存儲策略進行了深入探討,在分析現(xiàn)有機制對性能影響的基礎上,給出了一種自適應的數(shù)據(jù)節(jié)點內(nèi)的存儲數(shù)據(jù)塊的最小服務成本策略AMCSB,實驗表明,本文所提出的AMCSB策略能夠在降低服務成本的同時,有利于系統(tǒng)的負載均衡,并提高該系統(tǒng)的服務性能.

【參考文獻】

相關期刊論文 前4條

1 吳吉義;傅建慶;平玲娣;謝琪;;一種對等結(jié)構(gòu)的云存儲系統(tǒng)研究[J];電子學報;2011年05期

2 孫大為;常桂然;李鳳云;王川;王興偉;;一種基于免疫克隆的偏好多維QoS云資源調(diào)度優(yōu)化算法[J];電子學報;2011年08期

3 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

4 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學報;2012年11期

【共引文獻】

相關期刊論文 前10條

1 范玉妹,李紅軍;多目標局部殘差平方和的定階方法[J];北京科技大學學報;2003年01期

2 徐君開;產(chǎn)品最低成本的計算機輔助設計[J];玻璃與搪瓷;1997年06期

3 徐君開;搪瓷產(chǎn)品耐酸性能最佳的計算機輔助設計[J];福州大學學報(自然科學版);1997年04期

4 梅傳書,鐘登華,徐海燕;輸水隧洞建設方案優(yōu)選方法的研究[J];工程建設與設計;2001年03期

5 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學報;2012年11期

6 俞能海;郝卓;徐甲甲;張衛(wèi)明;張馳;;云安全研究進展綜述[J];電子學報;2013年02期

7 胡毅慶;;在數(shù)學專業(yè)運籌學教學中引入計算機實踐環(huán)節(jié)的探索[J];大學數(shù)學;2013年01期

8 吳建軍;;網(wǎng)絡輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術;2013年04期

9 孫勇;林菲;王寶軍;;面向云計算的鍵值型分布式存儲系統(tǒng)研究[J];電子學報;2013年07期

10 王曉華;;一種新型的Hadoop本地化測試模型[J];赤峰學院學報(自然科學版);2013年19期

相關會議論文 前1條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

相關博士學位論文 前9條

1 劉志明;對等存儲系統(tǒng)數(shù)據(jù)管理研究[D];國防科學技術大學;2011年

2 楊明;可持續(xù)發(fā)展的礦業(yè)開發(fā)模式研究[D];中南大學;2001年

3 徐俊剛;流程企業(yè)生產(chǎn)調(diào)度方法與應用研究[D];中國科學院研究生院（軟件研究所）;2003年

4 魏鵬飛;可重復使用液體火箭發(fā)動機智能減損控制方法研究[D];國防科學技術大學;2005年

5 陳曉飛;基于骨架的目標表示和識別技術研究[D];國防科學技術大學;2004年

6 吳杰;OFDM的頻率同步與自適應傳輸[D];西安電子科技大學;2007年

7 許曉棟;基于單件生產(chǎn)模式的模具生產(chǎn)計劃管理系統(tǒng)研究[D];上海交通大學;2007年

8 唐云建;無線傳感器網(wǎng)絡負載均衡數(shù)據(jù)匯集算法研究[D];重慶大學;2010年

9 高學英;大規(guī)模應急救援資源布局與調(diào)度優(yōu)化方法研究[D];吉林大學;2012年

相關碩士學位論文 前10條

1 苑文萍;高鐵分流下的京滬既有線旅客列車開行方案研究[D];北京交通大學;2011年

2 陸世輝;基于ADP的通用智能嵌入式控制器設計及實現(xiàn)[D];武漢理工大學;2011年

3 張歷;基于云計算平臺的配電網(wǎng)多目標重構(gòu)算法的研究[D];華南理工大學;2011年

4 楊志榮;雙目視覺立體匹配方法和遮擋問題研究[D];燕山大學;2010年

5 李洋;陜北地區(qū)坡耕地種植結(jié)構(gòu)的可拓決策及優(yōu)化研究[D];西安建筑科技大學;2011年

6 任維杰;多次預應力鋼結(jié)構(gòu)優(yōu)化設計[D];北京工業(yè)大學;2002年

7 張愛國;河北省“九五”科技計劃實施效果評價研究[D];河北工業(yè)大學;2002年

8 李征光;火電廠水系統(tǒng)計算機在線監(jiān)測系統(tǒng)的研究開發(fā)[D];華北電力大學（北京）;2003年

9 謝海英;廣義指派和多目標模糊指派的解法研究[D];西南交通大學;2004年

10 金哲;基于運籌學的RMS系統(tǒng)級設計理論與方法[D];浙江大學;2004年

【二級參考文獻】

相關期刊論文 前10條

1 吳吉義;平玲娣;潘雪增;李卓;;云計算:從概念到平臺[J];電信科學;2009年12期

2 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務系統(tǒng)研究[J];電子學報;2006年S1期

3 張薇;馬建峰;王良民;郭淵博;;門限Byzantine quorum系統(tǒng)及其在分布式存儲中的應用[J];電子學報;2008年02期

4 廖名學;范植華;;MPI程序同步通信基本模型死鎖檢測[J];電子學報;2008年02期

5 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設若干思考[J];電子學報;2010年11期

6 吳吉義;傅建慶;平玲娣;謝琪;;一種對等結(jié)構(gòu)的云存儲系統(tǒng)研究[J];電子學報;2011年05期

7 孫大為;常桂然;李鳳云;王川;王興偉;;一種基于免疫克隆的偏好多維QoS云資源調(diào)度優(yōu)化算法[J];電子學報;2011年08期

8 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

9 李勇軍;代亞非;;對等網(wǎng)絡信任機制研究[J];計算機學報;2010年03期

10 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

【相似文獻】

相關期刊論文 前10條

1 周游;劉鵬;楊盛祥;薛志強;文艾;;基于私有云的數(shù)據(jù)冗余技術研究[J];電腦知識與技術;2011年01期

2 余林琛;章巍;林強;許杰星;鐘貝;;RS糾刪碼在云存儲中的應用[J];微電子學與計算機;2011年08期

3 盧益陽;;分布式存儲系統(tǒng)調(diào)查[J];企業(yè)科技與發(fā)展;2011年16期

4 李婷;李曉龍;;云計算的資源管理方法研究[J];電腦與電信;2010年01期

5 于秀芬;張曾昱;;基于云存儲架構(gòu)的隨書光盤鏡像服務器構(gòu)建探討[J];圖書館雜志;2011年02期

6 甘勇;韓姍姍;陳國棟;何振;;基于在線存儲的對象放置算法的設計與實現(xiàn)[J];鄭州輕工業(yè)學院學報(自然科學版);2011年01期

7 謝峰;劉妹娟;;淺析云存儲信息服務的發(fā)展現(xiàn)狀及隱憂[J];科技信息;2011年10期

8 王俊修;;基于云計算架構(gòu)的視頻監(jiān)控系統(tǒng)應用研究[J];中國安防;2011年08期

9 王平建;荊繼武;王瓊霄;王展;;云存儲中的訪問控制技術研究[J];信息網(wǎng)絡安全;2011年09期

10 黃燕;;云存儲在圖書館數(shù)字資源存儲中的應用[J];現(xiàn)代情報;2011年04期

相關會議論文 前10條

1 朱旭東;柯劍;那文武;許魯;;一種數(shù)據(jù)塊關系指導的緩存替換方法[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

2 李明;王林旭;謝劍薇;李東岳;;大規(guī)模地理數(shù)據(jù)的組織存儲及快速訪問[A];2010年全國通信安全學術會議論文集[C];2010年

3 崔鐵軍;張利;;多尺度海量柵格數(shù)據(jù)索引機制的研究[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

4 張兵;;Oracle Forms表格數(shù)據(jù)轉(zhuǎn)存為Excel文件的技巧研究[A];全國冶金自動化信息網(wǎng)2009年會論文集[C];2009年

5 楊啟軍;;邯鋼冷軋廠酸軋生產(chǎn)線的S7-COM通信[A];冶金軋制過程自動化技術交流會論文集[C];2005年

6 王國松;周建強;程利平;張躍龍;;基于BLOB存取的大壩監(jiān)測電子文檔管理系統(tǒng)[A];全國大壩安全監(jiān)測技術信息網(wǎng)2008年度技術信息交流會暨全國大壩安全監(jiān)測技術應用和發(fā)展研討會論文集[C];2008年

7 鄭霄;陳紅;杜曉勇;王珊;;基于語義數(shù)據(jù)塊的兩層緩存技術在并行數(shù)據(jù)倉庫系統(tǒng)ParaWare中的實現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2001年

8 魏春城;;流媒體服務器設計中關鍵技術分析[A];第六屆全國計算機應用聯(lián)合學術會議論文集[C];2002年

9 白冰;王寶生;陳琳;勞仲安;;一種前向糾錯編解碼的帶寬優(yōu)化方法[A];中國電子學會第十六屆信息論學術年會論文集[C];2009年

10 蔡平;;磁盤陣列的數(shù)據(jù)安全隱患與數(shù)據(jù)修復[A];第二十一次全國計算機安全學術交流會論文集[C];2006年

相關重要報紙文章 前10條

1 ;Unihub新開通五大數(shù)據(jù)中心[N];人民郵電;2002年

2 李玉花 李明耀;擬建五大數(shù)據(jù)庫[N];檢察日報;2005年

3 本報記者 迪文;我國三大數(shù)據(jù)網(wǎng)標準走向國際[N];通信產(chǎn)業(yè)報;2003年

4 本報記者 劉書臻 崔剛 通訊員 韓寶寬;統(tǒng)計工作要用 “大數(shù)據(jù)”說話[N];中國信息報;2005年

5 本報記者 周鵬;三大數(shù)據(jù)庫 支撐八大應用系統(tǒng)[N];中國計算機報;2004年

6 新華社記者;十大數(shù)據(jù)見證不尋常的一年[N];新華每日電訊;2004年

7 仝;10大數(shù)據(jù)庫撐起中國電子投資信息網(wǎng)[N];中國計算機報;2000年

8 計算機世界實驗室 韓勖;中小企業(yè)存儲之道[N];計算機世界;2007年

9 匡紅慶 周朝暉;軟件項目管理的質(zhì)量保證[N];人民政協(xié)報;2005年

10 ;“不聯(lián)網(wǎng)搜索”新概念[N];網(wǎng)絡世界;2006年

相關博士學位論文 前10條

1 劉衛(wèi)平;網(wǎng)絡存儲中的數(shù)據(jù)容錯與容災技術研究[D];西北工業(yè)大學;2006年

2 黃震;大規(guī)模分布式存儲系統(tǒng)中數(shù)據(jù)冗余技術研究[D];國防科學技術大學;2012年

3 趙鑫;P2P流媒體內(nèi)容分發(fā)的關鍵技術研究[D];北京郵電大學;2010年

4 歐陽一鳴;片上網(wǎng)絡測試關鍵問題研究[D];合肥工業(yè)大學;2013年

5 涂旭平;對等流媒體直播系統(tǒng)帶寬資源優(yōu)化研究[D];華中科技大學;2008年

6 馬冠駿;基于網(wǎng)絡編碼的P2P文件分發(fā)的研究[D];中國科學技術大學;2009年

7 陳華輝;基于遺忘特性的數(shù)據(jù)流概要結(jié)構(gòu)及其應用研究[D];復旦大學;2008年

8 徐奎;無線網(wǎng)絡下的網(wǎng)絡編碼技術研究[D];華中科技大學;2009年

9 王見;異構(gòu)節(jié)點的媒體分發(fā)系統(tǒng)研究[D];上海交通大學;2009年

10 董曉明;對象屬性控制的存儲策略研究[D];華中科技大學;2006年

相關碩士學位論文 前10條

1 馮本明;云存儲中數(shù)據(jù)塊資源分布及服務器效能優(yōu)化問題研究[D];湖南大學;2011年

2 沈瑞清;云存儲中避免重復數(shù)據(jù)存儲機制研究[D];云南大學;2013年

3 張甲燃;重復數(shù)據(jù)刪除技術研究[D];山東大學;2013年

4 王永洲;基于HDFS的存儲技術的研究[D];南京郵電大學;2013年

5 王s，

本文編號：2584491