【摘要】：提出一種基于分布式數(shù)據(jù)庫與分布式文件系統(tǒng)相結合的海量圖片文件存儲去重技術。該技術通過提取圖片文件二進制流的特征段計算文件MD5碼簽名,依據(jù)簽名對圖片文件進行存儲去重。結合實驗數(shù)據(jù)分析驗證該技術不僅能夠準確地去重圖片,有較高的刪除率,且經(jīng)對比得到該技術在計算簽名時間、上傳速度等方面均優(yōu)于文件級去重和塊級去重技術,是對海量圖片數(shù)據(jù)存儲的一種優(yōu)化。同時針對該技術的不足提出了改進方案。
[Abstract]:Based on distributed database and distributed file system, a mass image file storage and reduplication technology is proposed. In this technique, the signature of MD5 code is calculated by extracting the feature segment of binary stream of image file, and the image file is stored and reduplicated according to the signature. Combined with experimental data analysis, it is proved that this technique not only can remove images accurately and has high deletion rate, but also is superior to file level and block level in computing signature time, upload speed and so on. Is a kind of optimization to the massive picture data storage. At the same time, the improvement scheme is put forward in view of the shortage of the technology.
【作者單位】： 杭州電子科技大學計算機學院圖形圖像研究所;
【基金】：國家自然科學基金項目(61272391)
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 陳志剛,李登,曾志文;分布式系統(tǒng)中一種動態(tài)負載均衡策略、相關模型及算法研究[J];小型微型計算機系統(tǒng);2002年12期

【共引文獻】

相關期刊論文 前10條

1 楊鵬;李幼平;;二元互補未來互聯(lián)網(wǎng)體系結構[J];復雜系統(tǒng)與復雜性科學;2014年01期

2 劉宇;李丹實;石祥濱;;人口信息系統(tǒng)中動態(tài)負載均衡算法的研究[J];沈陽航空工業(yè)學院學報;2007年02期

3 梁根;郭小雪;秦勇;魏文紅;;多邏輯鏈路中反饋信息共享令牌流量調(diào)度算法[J];計算機工程與應用;2009年03期

4 陳志剛,許偉,曾志文;一種基于預測的動態(tài)負載均衡模型及算法研究[J];計算機工程;2004年23期

5 孟令奎;張文;;分布式空間數(shù)據(jù)庫的動態(tài)負載平衡算法[J];計算機工程;2008年11期

6 梁根;郭小雪;秦勇;魏文紅;;多邏輯鏈路間共享令牌調(diào)度流量負載模型[J];計算機工程;2009年11期

7 溫少君;陳俊杰;郭濤;;一種云平臺中優(yōu)化的虛擬機部署機制[J];計算機工程;2012年11期

8 周克江;基于分布式多媒體的最佳實時綜合負載平衡算法及相關模型研究[J];計算技術與自動化;2004年04期

9 謝菲;;面向多媒體系統(tǒng)的負載均衡策略研究[J];計算機工程與科學;2009年S1期

10 張文昌;夏學知;;基于剩余計算能力的動態(tài)負載均衡系統(tǒng)[J];計算機與數(shù)字工程;2010年09期

相關博士學位論文 前4條

1 曾碧卿;分布式計算中并行I/O調(diào)度策略研究[D];中南大學;2005年

2 柳偉;自治資源聚合中信譽機制的評價方法研究[D];國防科學技術大學;2012年

3 鄭重;面向動態(tài)網(wǎng)絡環(huán)境的高魯棒性數(shù)據(jù)分發(fā)技術研究[D];國防科學技術大學;2011年

4 汪漪;內(nèi)容中心網(wǎng)絡路由查找關鍵技術研究[D];清華大學;2013年

相關碩士學位論文 前10條

1 秦曉晨;基于動態(tài)負載均衡技術的培訓系統(tǒng)的設計與實現(xiàn)[D];西安電子科技大學;2010年

2 劉漢邦;一種基于反饋機制的負載均衡改進算法研究[D];青島理工大學;2010年

3 李登;分布式系統(tǒng)負載均衡策略研究[D];中南大學;2002年

4 姜紅梅;分布環(huán)境下試驗與測試任務的協(xié)同綜合技術研究[D];西北工業(yè)大學;2004年

5 夏曉東;基于Web和CORBA的工作流系統(tǒng)的研究[D];華北電力大學（河北）;2004年

6 許偉;分布式系統(tǒng)中的主機負載預測與動態(tài)負載均衡研究[D];中南大學;2004年

7 姚莉;協(xié)作學習系統(tǒng)的分析與實現(xiàn)[D];東南大學;2004年

8 曾望年;增值業(yè)務計費系統(tǒng)負載均衡算法研究[D];華中科技大學;2004年

9 吳家祺;WEB服務器集群系統(tǒng)的設計與實現(xiàn)[D];南京航空航天大學;2005年

10 吳雷;計費系統(tǒng)服務器負載均衡算法研究[D];哈爾濱工程大學;2005年

【二級參考文獻】

相關期刊論文 前1條

1 傅強,鄭緯民;一種適用于機群系統(tǒng)的任務動態(tài)調(diào)度方法[J];軟件學報;1999年01期

【相似文獻】

相關期刊論文 前10條

1 陳志賢,王紹棣;SIP協(xié)議中認證注冊機制的研究[J];南京郵電學院學報;2003年03期

2 李杰,張學旺;MD5報文摘要算法與文件系統(tǒng)完整性保護[J];湘潭大學自然科學學報;2003年03期

3 張學旺,唐賢倫;MD5算法及其在文件系統(tǒng)完整性保護中的應用[J];計算機應用;2003年S2期

4 崔國華,余文杰;一種快速的鍵控散列算法[J];計算機與數(shù)字工程;2004年01期

5 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁檢測算法的研究與評價[J];電子學報;2000年S1期

6 付強,帥青紅;PGP軟件系統(tǒng)[J];西南民族學院學報(自然科學版);2001年04期

7 易紅軍;佘名高;;MD5算法與數(shù)字簽名[J];計算機與數(shù)字工程;2006年05期

8 陳瑋;;MD5加密原理及安全性分析[J];電腦知識與技術(學術交流);2007年19期

9 陳善利;姚瀅;;網(wǎng)頁防篡改系統(tǒng)的研究與設計方案[J];科技信息;2010年09期

10 闞義;高等學校管理信息系統(tǒng)的分析、設計與實現(xiàn)[J];計算機工程與設計;1994年02期

相關會議論文 前10條

1 杜方;劉利萍;蒙應杰;趙書城;;基于分布式數(shù)據(jù)庫的物流系統(tǒng)的設計和實現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2001年

2 杜會林;袁小京;;分布式數(shù)據(jù)庫在油田中的應用[A];第十屆全國數(shù)據(jù)庫學術會議論文集[C];1992年

3 習新魁;張斌;鄭懷遠;;基于客戶/服務器模型的分布式數(shù)據(jù)庫中復制字典系統(tǒng)的設計與實現(xiàn)[A];數(shù)據(jù)庫研究與進展95——第十三屆全國數(shù)據(jù)庫學術會議論文集[C];1995年

4 蘆禮祥;高俊;何守才;;分布式數(shù)據(jù)庫中死鎖檢測[A];第十屆全國數(shù)據(jù)庫學術會議論文集[C];1992年

5 許智君;葉新銘;張s，

本文編號：2377348