海量存儲(chǔ)系統(tǒng)中元數(shù)據(jù)管理機(jī)制的研究
發(fā)布時(shí)間:2022-01-16 23:35
海量存儲(chǔ)系統(tǒng)中需要保存Terabyte、Petabyte級(jí)別甚至更大規(guī)模的數(shù)據(jù)。數(shù)據(jù)的元數(shù)據(jù)如文件的名字、屬性、保存地址和訪問授權(quán)等信息一般由元數(shù)據(jù)服務(wù)器進(jìn)行管理。在訪問海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)前,需要首先查找和獲得元數(shù)據(jù)。因此元數(shù)據(jù)管理機(jī)制將直接關(guān)系到海量存儲(chǔ)系統(tǒng)的I/O性能,F(xiàn)有的海量存儲(chǔ)系統(tǒng)一般采用目錄層次結(jié)構(gòu)和哈希算法管理元數(shù)據(jù),存在修改元數(shù)據(jù)和查詢目錄等操作所需時(shí)間和空間開銷大等問題,也沒有針對(duì)海量存儲(chǔ)系統(tǒng)中元數(shù)據(jù)訪問特性的優(yōu)化機(jī)制,嚴(yán)重制約了海量存儲(chǔ)系統(tǒng)的I/O性能。本文在分析海量存儲(chǔ)系統(tǒng)中元數(shù)據(jù)管理特性的基礎(chǔ)上,引入DBMS技術(shù)以及數(shù)據(jù)分級(jí)的方法,提高管理元數(shù)據(jù)的效率。論文的具體工作包括:首先引入二維表保存系統(tǒng)中的元數(shù)據(jù)信息,提出了基于DBMS的新型元數(shù)據(jù)管理策略,給出了各類元數(shù)據(jù)操作的流程;分析了在海量存儲(chǔ)系統(tǒng)中用于管理元數(shù)據(jù)信息時(shí)所需的時(shí)間和空間開銷以及適應(yīng)不同運(yùn)行環(huán)境的能力;實(shí)現(xiàn)了基于DBMS元數(shù)據(jù)管理策略的原型系統(tǒng),采集實(shí)際文件系統(tǒng)中的元數(shù)據(jù),構(gòu)建多種測(cè)試環(huán)境進(jìn)行測(cè)試與分析,結(jié)果表明基于DBMS的元數(shù)據(jù)管理策略能有效地減少管理元數(shù)據(jù)所需的時(shí)間和空間開銷,提高管理元數(shù)據(jù)的...
【文章來源】:江蘇大學(xué)江蘇省
【文章頁數(shù)】:68 頁
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景及意義
1.2 元數(shù)據(jù)管理概述
1.2.1 元數(shù)據(jù)
1.2.2 海量存儲(chǔ)系統(tǒng)的發(fā)展
1.2.3 元數(shù)據(jù)管理的發(fā)展歷程
1.2.4 元數(shù)據(jù)管理的研究現(xiàn)狀
1.3 研究目標(biāo)
1.4 本文主要工作及組織結(jié)構(gòu)
第二章 海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理的特點(diǎn)及分析
2.1 海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理特性分析
2.2 基于DBMS的海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理結(jié)構(gòu)
2.3 本章小結(jié)
第三章 基于DBMS的元數(shù)據(jù)管理策略
3.1 現(xiàn)有元數(shù)據(jù)管理策略的分析
3.2 基于二維表的元數(shù)據(jù)結(jié)構(gòu)
3.3 元數(shù)據(jù)操作算法設(shè)計(jì)
3.3.1 目錄操作
3.3.2 文件操作
3.3.3 文件屬性的操作
3.3.4 訪問授權(quán)的操作
3.4 性能分析
3.4.1 管理元數(shù)據(jù)所需的時(shí)間與空間開銷
3.4.2 元數(shù)據(jù)管理的靈活性
3.5 性能測(cè)試
3.5.1 原型系統(tǒng)的實(shí)現(xiàn)
3.5.2 測(cè)試環(huán)境的構(gòu)建
3.5.3 測(cè)試數(shù)據(jù)集
3.5.4 測(cè)試與分析
3.6 本章小結(jié)
第四章 元數(shù)據(jù)的分級(jí)索引算法
4.1 現(xiàn)有元數(shù)據(jù)索引算法的分析
4.2 基于數(shù)據(jù)生命周期的元數(shù)據(jù)分級(jí)算法
4.3 活躍元數(shù)據(jù)分區(qū)索引算法
4.3.1 分區(qū)機(jī)制
4.3.2 子索引定位機(jī)制
4.4 非活躍元數(shù)據(jù)索引算法
4.5 性能分析
4.5.1 查詢?cè)獢?shù)據(jù)所需的時(shí)間與空間開銷
4.5.2 更新索引所需的時(shí)間與空間開銷
4.6 性能測(cè)試
4.6.1 原型系統(tǒng)的實(shí)現(xiàn)
4.6.2 測(cè)試環(huán)境的構(gòu)建
4.6.3 測(cè)試數(shù)據(jù)集
4.6.4 測(cè)試與分析
4.7 本章小結(jié)
第五章 總結(jié)與展望
5.1 工作總結(jié)
5.2 下一步工作展望
參考文獻(xiàn)
致謝
發(fā)表論文
【參考文獻(xiàn)】:
期刊論文
[1]海量存儲(chǔ)系統(tǒng)中高可擴(kuò)展性元數(shù)據(jù)服務(wù)器集群設(shè)計(jì)[J]. 吳偉,謝長生,韓德志,黃建忠. 計(jì)算機(jī)科學(xué). 2007(07)
[2]基于共享存儲(chǔ)池的元數(shù)據(jù)服務(wù)器機(jī)群的設(shè)計(jì)研究[J]. 蘇勇,周敬利,余勝生,姜明華,劉鋼. 小型微型計(jì)算機(jī)系統(tǒng). 2007(04)
[3]基于目錄路徑的元數(shù)據(jù)管理方法[J]. 劉仲,周興銘. 軟件學(xué)報(bào). 2007(02)
本文編號(hào):3593624
【文章來源】:江蘇大學(xué)江蘇省
【文章頁數(shù)】:68 頁
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景及意義
1.2 元數(shù)據(jù)管理概述
1.2.1 元數(shù)據(jù)
1.2.2 海量存儲(chǔ)系統(tǒng)的發(fā)展
1.2.3 元數(shù)據(jù)管理的發(fā)展歷程
1.2.4 元數(shù)據(jù)管理的研究現(xiàn)狀
1.3 研究目標(biāo)
1.4 本文主要工作及組織結(jié)構(gòu)
第二章 海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理的特點(diǎn)及分析
2.1 海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理特性分析
2.2 基于DBMS的海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理結(jié)構(gòu)
2.3 本章小結(jié)
第三章 基于DBMS的元數(shù)據(jù)管理策略
3.1 現(xiàn)有元數(shù)據(jù)管理策略的分析
3.2 基于二維表的元數(shù)據(jù)結(jié)構(gòu)
3.3 元數(shù)據(jù)操作算法設(shè)計(jì)
3.3.1 目錄操作
3.3.2 文件操作
3.3.3 文件屬性的操作
3.3.4 訪問授權(quán)的操作
3.4 性能分析
3.4.1 管理元數(shù)據(jù)所需的時(shí)間與空間開銷
3.4.2 元數(shù)據(jù)管理的靈活性
3.5 性能測(cè)試
3.5.1 原型系統(tǒng)的實(shí)現(xiàn)
3.5.2 測(cè)試環(huán)境的構(gòu)建
3.5.3 測(cè)試數(shù)據(jù)集
3.5.4 測(cè)試與分析
3.6 本章小結(jié)
第四章 元數(shù)據(jù)的分級(jí)索引算法
4.1 現(xiàn)有元數(shù)據(jù)索引算法的分析
4.2 基于數(shù)據(jù)生命周期的元數(shù)據(jù)分級(jí)算法
4.3 活躍元數(shù)據(jù)分區(qū)索引算法
4.3.1 分區(qū)機(jī)制
4.3.2 子索引定位機(jī)制
4.4 非活躍元數(shù)據(jù)索引算法
4.5 性能分析
4.5.1 查詢?cè)獢?shù)據(jù)所需的時(shí)間與空間開銷
4.5.2 更新索引所需的時(shí)間與空間開銷
4.6 性能測(cè)試
4.6.1 原型系統(tǒng)的實(shí)現(xiàn)
4.6.2 測(cè)試環(huán)境的構(gòu)建
4.6.3 測(cè)試數(shù)據(jù)集
4.6.4 測(cè)試與分析
4.7 本章小結(jié)
第五章 總結(jié)與展望
5.1 工作總結(jié)
5.2 下一步工作展望
參考文獻(xiàn)
致謝
發(fā)表論文
【參考文獻(xiàn)】:
期刊論文
[1]海量存儲(chǔ)系統(tǒng)中高可擴(kuò)展性元數(shù)據(jù)服務(wù)器集群設(shè)計(jì)[J]. 吳偉,謝長生,韓德志,黃建忠. 計(jì)算機(jī)科學(xué). 2007(07)
[2]基于共享存儲(chǔ)池的元數(shù)據(jù)服務(wù)器機(jī)群的設(shè)計(jì)研究[J]. 蘇勇,周敬利,余勝生,姜明華,劉鋼. 小型微型計(jì)算機(jī)系統(tǒng). 2007(04)
[3]基于目錄路徑的元數(shù)據(jù)管理方法[J]. 劉仲,周興銘. 軟件學(xué)報(bào). 2007(02)
本文編號(hào):3593624
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/3593624.html
最近更新
教材專著