數(shù)據(jù)去重過程中的垃圾回收機制研究
本文選題:垃圾回收 + 數(shù)據(jù)去重; 參考:《華中科技大學(xué)》2014年碩士論文
【摘要】:隨著數(shù)字信息的爆炸式增長,備份系統(tǒng)中的數(shù)據(jù)隨之增大,數(shù)據(jù)的存儲管理越加復(fù)雜。數(shù)據(jù)去重技術(shù)的采用,優(yōu)化了存儲效率,卻帶來了數(shù)據(jù)刪除過程中產(chǎn)生的垃圾問題。如何清理這些存儲垃圾是備份系統(tǒng)中亟需解決的重要問題。 在研究已有的網(wǎng)絡(luò)容災(zāi)備份系統(tǒng)HUSTBackup系統(tǒng)的基礎(chǔ)上,結(jié)合存儲服務(wù)器端的數(shù)據(jù)組織和存儲管理,分析了存儲服務(wù)器在數(shù)據(jù)去重過程垃圾產(chǎn)生的原因。詳細分析了三種經(jīng)典垃圾回收算法,并結(jié)合系統(tǒng)進行了可行性分析,設(shè)計并實現(xiàn)了延遲引用計數(shù)法垃圾回收機制。延遲引用計數(shù)法垃圾回收的主要思想是對每一個存儲的數(shù)據(jù)塊設(shè)置一個引用標(biāo)記,通過該引用標(biāo)記的值判斷其是否為數(shù)據(jù)垃圾,如果是,,則將其加入回收池中。動態(tài)更新回收池中的指紋塊信息,直至垃圾回收進程被觸發(fā)時才回收回收池中對應(yīng)的數(shù)據(jù)塊。用哈希表作回收池,提高了查詢,插入和刪除的速度;鎖機制保證了存儲服務(wù)器端的穩(wěn)定性。該算法具有穩(wěn)定的開銷,系統(tǒng)負荷小,垃圾回收速度快的優(yōu)點。 測試數(shù)據(jù)表明,延遲引用計數(shù)法垃圾回收技術(shù)不僅減少了內(nèi)存消耗,增大了存儲空間,而且還優(yōu)化系統(tǒng)的存儲效率,提高系統(tǒng)備份性能。
[Abstract]:With the explosive growth of digital information, the data in backup system increases, and the storage and management of data becomes more and more complicated. The adoption of data removal technology optimizes storage efficiency, but it brings garbage problem in data deletion process. How to clean up these storage garbage is an important problem in backup system. Based on the research of the existing network disaster recovery and backup system (HUSTBackup), combined with the data organization and storage management of the storage server, the causes of garbage generation in the data removal process of the storage server are analyzed. In this paper, three classical garbage collection algorithms are analyzed in detail, and the feasibility of the system is analyzed, and the garbage collection mechanism of delayed reference counting method is designed and implemented. The main idea of garbage collection by delayed reference counting is to set up a reference mark for each stored data block, and to determine whether it is data garbage or not by the value of the reference tag, and if so, to add it to the collection pool. The fingerprint block information in the recovery pool is dynamically updated until the garbage collection process is triggered before the corresponding data block in the recovery pool is recovered. The hash table is used as the recovery pool to improve the speed of query, insert and delete, and the lock mechanism ensures the stability of the storage server. The algorithm has the advantages of stable overhead, low system load and fast garbage collection speed. The test data show that the garbage collection technology not only reduces the memory consumption and increases the storage space, but also optimizes the storage efficiency of the system and improves the system backup performance.
【學(xué)位授予單位】:華中科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2014
【分類號】:TP333
【相似文獻】
相關(guān)期刊論文 前10條
1 ;天津:將建電子垃圾回收中心[J];中國信息界;2005年16期
2 馬安嶺;陳德平;;淺談垃圾回收機制[J];儀器儀表用戶;2006年06期
3 孫青;鄭永果;;MS.NET FRAMEWORK垃圾回收算法的實現(xiàn)研究[J];福建電腦;2006年08期
4 冉彥中;張智剛;曹婧華;楊可揚;;C#垃圾回收機制驗證實驗的設(shè)計與實現(xiàn)[J];長春師范學(xué)院學(xué)報;2013年10期
5 黃昆;;電子垃圾回收產(chǎn)業(yè)化之路[J];中國計算機用戶;2008年23期
6 暢鵬;;分布式垃圾回收算法分析[J];太原大學(xué)學(xué)報;2010年04期
7 劉云生;呂志華;;嵌入式實時垃圾回收機制的分析與實現(xiàn)[J];計算機工程與科學(xué);2006年08期
8 張鵬飛;錢敏;;Java垃圾回收新算法芻探[J];微型機與應(yīng)用;2011年02期
9 阿濤;電子垃圾回收期待產(chǎn)業(yè)化[J];數(shù)碼世界;2003年03期
10 武新麗;;淺談.NET Framework中的垃圾回收機制[J];廊坊師范學(xué)院學(xué)報(自然科學(xué)版);2012年05期
相關(guān)會議論文 前4條
1 袁偉東;楊謙;;運用生活垃圾回收生物技術(shù)改造西部土壤[A];民革全國西部大開發(fā)研討會論文集[C];2000年
2 柯建飛;;電子垃圾回收立法動向探微[A];水污染防治立法和循環(huán)經(jīng)濟立法研究——2005年全國環(huán)境資源法學(xué)研討會論文集(第二冊)[C];2005年
3 張姝妍;;關(guān)于電子垃圾回收處理對策的研究[A];中國環(huán)境保護優(yōu)秀論文集(2005)(下冊)[C];2005年
4 鄭良楷;霍霞;李燕;韓岱;顧成武;陳剛建;劉俊曉;陳松建;;電子垃圾回收拆解區(qū)兒童血鉛鎘水平及ALAD基因多態(tài)性研究[A];2007年中國解剖學(xué)會第十屆全國組織學(xué)與胚胎學(xué)青年學(xué)術(shù)研討會論文摘要匯編[C];2007年
相關(guān)重要報紙文章 前10條
1 劉友存;氣動垃圾回收系統(tǒng)成為韓國新的鋼管消費領(lǐng)域[N];中國冶金報;2007年
2 記者 項文淵 盧慶紅;石筧鄉(xiāng)建起垃圾回收站[N];麗水日報;2006年
3 國富;珠海垃圾回收業(yè)如何發(fā)展?[N];珠海特區(qū)報;2007年
4 記者 李學(xué)梅;生活垃圾回收,為法國帶來豐厚回報[N];新華每日電訊;2009年
5 李松梧 中國城市建設(shè)研究院總工程師 徐海云;垃圾回收合作社能建否?[N];中國環(huán)境報;2009年
6 記者杜磊;州直各縣積極籌建醫(yī)療垃圾回收站[N];伊犁日報(漢);2009年
7 鄭麗華;我市有了電子垃圾回收機構(gòu)[N];太原日報;2010年
8 本報記者 魏星奎;農(nóng)村可利用垃圾回收處理[N];綿陽日報;2011年
9 周海龍;加強電子垃圾回收處理[N];團結(jié)報;2013年
10 記者 王曄君;電子垃圾回收首度“觸網(wǎng)”[N];北京商報;2013年
相關(guān)碩士學(xué)位論文 前10條
1 高玲玲;居民樓生活垃圾回收系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年
2 肖玉;數(shù)據(jù)去重過程中的垃圾回收機制研究[D];華中科技大學(xué);2014年
3 毛浪;城市生活垃圾回收網(wǎng)絡(luò)優(yōu)化研究[D];湖南大學(xué);2011年
4 劉麗麗;城市生活垃圾回收利用系統(tǒng)設(shè)計[D];中南大學(xué);2013年
5 許靜;我國電子垃圾回收處理法律制度研究[D];長安大學(xué);2010年
6 杜武;廬山旅游垃圾回收設(shè)施設(shè)計研究[D];南昌大學(xué);2013年
7 劉莉;基于多層次建模和GIS的垃圾回收行為模型研究[D];重慶大學(xué);2003年
8 甘賽雄;城市垃圾回收方式及工具創(chuàng)新設(shè)計[D];南昌大學(xué);2012年
9 王豫煒;城市垃圾回收嵌入式車載系統(tǒng)設(shè)計[D];北京化工大學(xué);2013年
10 楊歆;農(nóng)村家庭生活垃圾回收政策效果的實證分析[D];西北大學(xué);2013年
本文編號:1780511
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/1780511.html