本文關鍵詞：云存儲系統(tǒng)中基于溯源關系的文件查詢與管理方法研究　出處：《華中科技大學》2016年博士論文　論文類型：學位論文

  更多相關文章： 云存儲系統(tǒng) 溯源關系 元數(shù)據(jù)索引 視頻壓縮 冷數(shù)據(jù) 文件重分布

【摘要】：隨著備份、歸檔、視頻等網(wǎng)絡服務的廣泛應用,云存儲系統(tǒng)的規(guī)模越來越大,給文件訪問的性能帶來挑戰(zhàn)。用戶在訪問文件之前需依靠文件查詢來確定待訪問的文件及其地址,因此需要提高文件查詢的性能。而現(xiàn)有的元數(shù)據(jù)查詢方法無法有效地支持文件的高性能查詢,因此需要挖掘更多的文件相關性來提高元數(shù)據(jù)查詢的性能。云存儲系統(tǒng)中,大部分的數(shù)據(jù)都處于冷數(shù)據(jù)狀態(tài),被存儲在價格便宜、性能較差的設備上。有些應用需要保證高效的冷數(shù)據(jù)訪問性能,因此需要通過分析冷數(shù)據(jù)文件在文件訪問以及文件屬性的相關性來提高文件管理的性能,建立一個高效的冷數(shù)據(jù)的分布及其元數(shù)據(jù)的索引結(jié)構(gòu)�，F(xiàn)在,大數(shù)據(jù)存儲及其網(wǎng)絡傳輸中視頻已經(jīng)占了65%,這些視頻中大量的近似重復視頻帶來了巨大的傳輸和存儲開銷。針對這種特殊文件的應用和管理,需要通過挖掘這些視頻之間的關系來提高視頻的存儲空間有效性以及訪問速度。因此,挖掘文件之間的相關性對于提高云存儲系統(tǒng)中文件訪問性能具有重要作用。在云存儲系統(tǒng)中,具有溯源關系的文件之間具有數(shù)據(jù)相關性,這種數(shù)據(jù)相關性導致這些文件具有相同或相似的內(nèi)容,因此從溯源數(shù)據(jù)中可以挖掘到具有溯源關系的文件相關性,包括很強的內(nèi)容相似性、屬性相似性和讀寫特征的相似性以及較弱的內(nèi)容差異性等。同時,文件的溯源數(shù)據(jù)記錄了影響這個文件最終狀態(tài)的所有進程和文件,通過對溯源數(shù)據(jù)的分析不僅在空間維度上可挖掘到更多文件的相關性,而且在時間維度上可以得到文件之間的相關性的變化,從而可提高文件相關性度量的精確度。因此,圍繞加快文件訪問的速度這一目標,本文利用文件相關特性提出了三種優(yōu)化方法。(1)針對云存儲系統(tǒng)規(guī)模的擴大會降低文件訪問所必需的元數(shù)據(jù)查詢操作的性能的問題,提出了一種挖掘具有溯源關系的文件之間的內(nèi)容相似性的元數(shù)據(jù)查詢方法PROMES,通過在查詢流程中增加關系圖查詢減少元數(shù)據(jù)索引樹中的查詢范圍而加快了查詢速度,通過引入關系的時效性和文件的權(quán)重兩個參數(shù)提高了關系圖中文件相關性度量的準確性而增加了查詢準確率。PROMES中的元數(shù)據(jù)查詢分為三步：通過一個相關性感知的元數(shù)據(jù)索引樹來定位到一些文件的元數(shù)據(jù)作為種子。絕大部分的種子滿足查詢條件,然后使用種子在根據(jù)溯源關系所生成的關系圖中查詢剩余的查詢結(jié)果,最后進行排序并精簡以得到最終的查詢結(jié)果。因為由溯源關系生成的關系圖具有文件相關性緊密、輕量索引的特點,所以PROMES具有顯著的高查詢準確率和低延遲的優(yōu)點。實驗測試表明：PROMES比現(xiàn)在最新的元數(shù)據(jù)查詢方法減小了1到2個數(shù)量級的查詢時間,并具有更高的查詢準確率。(2)針對云存儲服務供應商通常在低功耗的設備上存儲冷數(shù)據(jù)文件及其元數(shù)據(jù)而導致文件訪問速度受限的問題,提出了一種基于溯源關系中文件的屬性和訪問特征相似性的冷數(shù)據(jù)分布及其元數(shù)據(jù)索引機制,通過挖掘具有溯源關系的文件之間的訪問特征相似性調(diào)整文件的分布狀態(tài)減少訪問冷數(shù)據(jù)文件的等待時間并節(jié)省能源,通過挖掘具有溯源關系的文件之間的元數(shù)據(jù)相似性對文件元數(shù)據(jù)進行邏輯分組減少冷數(shù)據(jù)文件的元數(shù)據(jù)查詢的延時。這個機制包含兩個方法：基于溯源關系中文件的訪問特征相似性的冷數(shù)據(jù)重分布方法Prodi和基于溯源關系中文件的屬性特征相似性的冷數(shù)據(jù)元數(shù)據(jù)索引方法P-index。通過測試表明Prodi節(jié)省了25%能源,而P-index的性能比現(xiàn)有的元數(shù)據(jù)索引結(jié)構(gòu)減少了1到2個數(shù)量級的查詢時間開銷。(3)針對云存儲系統(tǒng)中大量的近似重復視頻降低了用戶的體驗質(zhì)量,并消耗了服務供應商的很多資源的問題,提出了一種基于溯源關系中文件的內(nèi)容差異性的視頻壓縮與傳輸機制Provis,利用視頻的溯源數(shù)據(jù)能夠支持視頻重建和記錄了具有溯源關系的視頻之間內(nèi)容差異的溯源數(shù)據(jù)的大小遠小于視頻文件的特性,通過保存視頻的溯源數(shù)據(jù)來替代保存視頻的方法壓縮近似視頻而提高存儲系統(tǒng)的空間有效性,通過上傳視頻的溯源數(shù)據(jù)后再在云端重建視頻的方法來替代直接上傳視頻而加快了視頻上傳的速度并減少上傳的網(wǎng)絡開銷。通過兩個視頻數(shù)據(jù)集的測試比較了Provis與其它現(xiàn)存的視頻壓縮技術(shù),結(jié)果顯示Provis能夠顯著節(jié)省空間并降低視頻上傳的網(wǎng)絡開銷,溯源圖的存儲開銷和視頻重建的時延在用戶可接受范圍內(nèi)。綜上所述,本文主要解決云存儲系統(tǒng)規(guī)模的擴大給文件的查詢與管理性能帶來新的挑戰(zhàn)的問題,通過挖掘具有溯源關系的文件之間的各種相關特性來優(yōu)化云存儲系統(tǒng)的文件查詢和管理,提出了一系列的方法,這些方法不僅可以用來提高存儲系統(tǒng)的文件訪問的性能,而且為溯源關系的廣泛應用提供了相關理論和技術(shù)支撐。
[Abstract]:With the backup, archiving, extensive application of video network services, cloud storage system is larger and larger, to the performance of file access challenges. Users need to rely on the query to determine the file to access files and access address in the file before it is necessary to improve the performance of file query and metadata query. The existing methods can not effectively support the high performance file query, therefore need to dig more correlation of files to improve the performance of metadata query. Cloud storage system, most of the data in the data is stored in a cold state, low price, poor performance of the device. Some applications need to ensure efficient cold data access performance, therefore need to analysis cold data files in the file access and file attribute correlation to improve the performance of file management, the establishment of an efficient distribution of data and the number of cold According to the index structure. Now, big data storage and network transmission of video has accounted for 65% of the large number of near duplicate video video brings huge transmission and storage overhead. The application and management of this special file, need to improve the effectiveness of video storage space and access speed by mining these relationships between video. Therefore, the correlation between mining documents plays an important role in improving the cloud storage system file access performance. In the cloud storage system, with data due to the correlation between the relationship between this kind of data files, these files associated with the same or similar content, so it can be from the original data mining to file associated with traceability the relationship, including strong content similarity and attribute similarity and read-write character similarity and weak content differences. When the source data file records all the process and effect of the final state of the file. This file, through the analysis of the origin of data mining to correlation can not only more files in the space dimension, but also can get the correlation between files in the time dimension, which can improve the accuracy of document relevance measure. Therefore, around the goal to accelerate the file access speed, this paper uses the file related characteristics of three methods are put forward. (1) to expand the scale of the cloud storage system will reduce the performance of metadata required for file access query operation problems, put forward a mining due to the relationship between the content of the document similarity search method PROMES the metadata, by increasing the relationship between map query and reduce metadata index tree queries in the query range in the process and speed up the query speed, through the introduction of The relationship between weight of the timeliness and files of the two parameters to improve the accuracy of measurement in the correlation diagram file and increase the accuracy of query metadata query in.PROMES is divided into three steps: the metadata index tree of a correlation aware to locate the file to some metadate as seeds. Most of the seeds that satisfy the query the conditions, and then use the remaining seed query results in graph generated according to the traceability relationship, finally sorted and trimmed to obtain the final results. Because the diagram generated by tracing relationship has close correlation characteristics of lightweight file, index, so PROMES has high query accuracy and significant advantages of low delay. Experiment results show that the PROMES now than the latest metadata query method is reduced by 1 to 2 orders of magnitude of the query time, and has higher query quasi Accuracy. (2) cloud storage service providers usually in low power devices on the cold storage data files and metadata according to the resulting file access speed limitation, puts forward a kind of similarity and attribute access characteristics based on the relationship between the source file data and metadata distribution mechanism of cold index, due to the relationship between access characteristics through mining document similar to the distribution of the adjustment file to reduce the waiting time to access the cold data file and save energy, to reduce the metadata file metadata for cold data file query delay logical grouping similar metadata has traceability relations through mining files. This mechanism includes two methods: access profile traceability relations based on the similarity of the cold data redistribution method Prodi and similarity attribute relationship based on the source file P-index. metadata index data through the method of cold test shows that Prodi saves 25% energy, while P-index performance than the existing structure of the metadata index decreased by 1 to 2 orders of magnitude of the query time. (3) according to the cloud storage system in a large number of near duplicate video reduces the quality of the user experience, a lot of resources and consumption of services the supplier of the problem, puts forward a content file in the relationship between the difference of source video compression and transmission mechanism based on Provis, using video traceability data can support characteristics of video reconstruction and record the difference between traceability data due to the relationship of the video is much smaller than the size of video files, video data storage method by tracing the alternative to save video compression and improve the effectiveness of the spatial approximation of video storage system, data upload video by tracing back in heavy cloud The construction method to replace the direct video upload video and accelerate the video upload speed and reduce the network overhead. Upload video data through two sets of test and comparison of Provis and other existing video compression technology, the result shows that Provis can significantly save space and reduce the video upload network overhead, storage overhead and traceability chart the delay in the reconstruction of video users within the acceptable range. To sum up, this paper mainly solves the expansion of cloud storage system scale brings new challenges to the query and file management performance problems related with traceability relations through mining characteristics between files to optimize cloud storage system file query and management, put forward a series of methods these methods, not only can be used to improve the performance of storage system file access, and provides the theory for wide application of traceability relations And technical support.

【學位授予單位】：華中科技大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應用卓越獎 醫(yī)療行業(yè)應用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應用研究[J];計算機光盤軟件與應用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應用探討[J];數(shù)字技術(shù)與應用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

相關會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學會學術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學;李建華;;面向災備的高性能可信存儲系統(tǒng)設計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設計院存儲系統(tǒng)建設初探[A];中國公路學會計算機應用分會2004年年會學術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學會教育信息化分會第十次學術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學術(shù)會議論文集（三）[C];2006年

相關重要報紙文章 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導報;2005年

2 本報記者 薛斐;服務：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡世界;2009年

10 臨履;存儲系統(tǒng)有了“設計院”[N];網(wǎng)絡世界;2001年

相關博士學位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學;2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡性能優(yōu)化模型研究[D];燕山大學;2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學技術(shù)大學;2015年

4 沈志榮;糾刪碼存儲系統(tǒng)性能優(yōu)化研究[D];清華大學;2015年

5 黃志杰;容錯存儲系統(tǒng)中的MDS陣列碼研究[D];華中科技大學;2016年

6 劉進軍;云存儲系統(tǒng)中基于溯源關系的文件查詢與管理方法研究[D];華中科技大學;2016年

7 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

8 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術(shù)研究[D];華中科技大學;2011年

9 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術(shù)研究[D];華中科技大學;2011年

10 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關鍵技術(shù)研究[D];華中科技大學;2010年

相關碩士學位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學;2015年

2 張明;IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

3 蔣靜遠;基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學;2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設計與實現(xiàn)[D];電子科技大學;2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學;2015年

8 邱登峰;基于Hadoop可公共審計云存儲的設計與實現(xiàn)[D];大連理工大學;2015年

9 張致元;電子商品存儲系統(tǒng)設計與研究[D];復旦大學;2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實現(xiàn)[D];上海交通大學;2015年

，

本文編號：1374443