云環(huán)境下數(shù)據(jù)分布式緩存技術(shù)與應(yīng)用
【學(xué)位單位】:南京郵電大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位年份】:2019
【中圖分類(lèi)】:TP333
【部分圖文】:
南京郵電大學(xué)專(zhuān)業(yè)學(xué)位碩士研究生學(xué)位論文 第四章 基于 Redis 的 HDFS 元數(shù)據(jù)緩存模型dir 為系統(tǒng)下所有目錄的信息。path 為該目錄的路徑;replicas 為副本數(shù)量;mtime 為修改此目錄的時(shí)間戳;atime 為訪問(wèn)此目錄的時(shí)間戳;blockSize 為目錄或文件的塊大小,目錄為 0;numBlocks 為實(shí)際的 block 數(shù)量;nsQuota 為 namespace 的 Quota 值,目錄為-1;dsQuota 為 disk的 Quota 值,默認(rèn)為-1;username 為目錄的擁有者;group 為該用戶(hù)所屬的組;permission 為權(quán)限信息。file 為系統(tǒng)下所有文件的信息,包含所有 dir 的結(jié)構(gòu),在此基礎(chǔ)上,增加 3 個(gè)屬性。blockid為屬于該文件的 block 的 id;numBytes 為該 block 的大。籫enStamp 為該 block 的生成時(shí)間戳。該文件有多少個(gè) block,file 信息中就對(duì)應(yīng)多少組信息。通過(guò) offline edits viewer 工具將 editlog 的二進(jìn)制文件轉(zhuǎn)化為易于閱讀的 xml 文件,editlog文件的格式如圖 4.3 所示:
元數(shù)據(jù)緩存寫(xiě)入偽代碼
南京郵電大學(xué)專(zhuān)業(yè)學(xué)位碩士研究生學(xué)位論文 第四章 基于 Redis 的 HDFS 元數(shù)據(jù)緩存模型系以及 Block 塊與 DataNode 服務(wù)器的映射關(guān)系。步驟 4:將查詢(xún)來(lái)的結(jié)果以異步方式返回給客戶(hù)端,并且將此結(jié)果存放進(jìn)自己 Redis 服務(wù)器中,同時(shí)設(shè)置生存時(shí)間,防止該 NameNode 服務(wù)器負(fù)載過(guò)高。步驟 5:客戶(hù)端下次向同一 NameNode 服務(wù)器訪問(wèn)相同的元數(shù)據(jù)信息時(shí),如果該結(jié)果還在生存時(shí)間內(nèi),則可以直接查詢(xún)到,否則從步驟 3 開(kāi)始。
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 楊烈君;吳玉芹;陳楊;;一種數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究[J];武漢工程大學(xué)學(xué)報(bào);2016年06期
2 封俊;;移動(dòng)圖書(shū)館的數(shù)據(jù)存儲(chǔ)系統(tǒng)研究[J];太原學(xué)院學(xué)報(bào)(自然科學(xué)版);2016年04期
3 鄭健;;基于模糊處理的醫(yī)療信息數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J];計(jì)算機(jī)測(cè)量與控制;2017年07期
4 ;索尼推出第二代海量光盤(pán)數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];廣播與電視技術(shù);2016年05期
5 吳洪成;金亮亮;;自主可控的數(shù)據(jù)存儲(chǔ)系統(tǒng)開(kāi)發(fā)[J];信息化建設(shè);2015年07期
6 陳碩穎;鄭敏信;齊鉑金;楊清森;;用于電池管理系統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2014年01期
7 楊波;;基于云計(jì)算的作戰(zhàn)數(shù)據(jù)存儲(chǔ)系統(tǒng)研究[J];現(xiàn)代電子技術(shù);2013年19期
8 ;永久性數(shù)據(jù)存儲(chǔ)系統(tǒng)尋求合作[J];電腦與電信;2009年02期
9 鐘建平;;網(wǎng)絡(luò)財(cái)務(wù)數(shù)據(jù)存儲(chǔ)系統(tǒng)研究[J];科技創(chuàng)新導(dǎo)報(bào);2008年06期
10 ;永久性數(shù)據(jù)存儲(chǔ)系統(tǒng)尋求合作[J];電腦與電信;2008年10期
相關(guān)博士學(xué)位論文 前1條
1 陳海霞;計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)系統(tǒng)中讀寫(xiě)頭/盤(pán)間超薄氣膜動(dòng)力穩(wěn)定性研究[D];華中科技大學(xué);2004年
相關(guān)碩士學(xué)位論文 前10條
1 張凱風(fēng);通用高速數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)及其數(shù)據(jù)管理技術(shù)[D];西安電子科技大學(xué);2019年
2 李敏磊;云環(huán)境下數(shù)據(jù)分布式緩存技術(shù)與應(yīng)用[D];南京郵電大學(xué);2019年
3 崔晉皓;柴油機(jī)在線數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[D];北京理工大學(xué);2017年
4 鄒立民;基于Hadoop的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)應(yīng)用的研究[D];沈陽(yáng)工業(yè)大學(xué);2018年
5 任敏;基于FPGA的雙通道機(jī)載數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[D];中北大學(xué);2015年
6 黃麗華;江西電信公司運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)系統(tǒng)的升級(jí)方案設(shè)計(jì)[D];南昌大學(xué);2010年
7 周安;電信級(jí)分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)中路由機(jī)制的研究[D];北京郵電大學(xué);2011年
8 洪俊望;面向大數(shù)據(jù)存儲(chǔ)系統(tǒng)的分布式復(fù)雜任務(wù)樹(shù)調(diào)度器的研究[D];華南理工大學(xué);2016年
9 王歡;分體式模塊化數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[D];中北大學(xué);2015年
10 楊銳;新一代天氣雷達(dá)數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年
本文編號(hào):2845206
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/2845206.html