本文關(guān)鍵詞：面向城軌線網(wǎng)的海量小文件存儲(chǔ)方法的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 小文件存儲(chǔ) 城軌線網(wǎng) FastDFS Redis 訪問性能

【摘要】：隨著城市軌道交通線路規(guī)模的增長,建立城軌線網(wǎng)數(shù)據(jù)中心的需求日益凸顯,因此城軌線網(wǎng)數(shù)據(jù)中心面臨存儲(chǔ)海量文件的需求。城軌線網(wǎng)的文件數(shù)據(jù)包括大文件和小文件,目前,大文件存儲(chǔ)技術(shù)已有成熟的技術(shù)和系統(tǒng),然而,由于元數(shù)據(jù)管理低效、I/O訪問流程復(fù)雜和數(shù)據(jù)布局單一等原因,小文件的高效存儲(chǔ)問題尚未得到很好的解決。目前,Facebook等互聯(lián)網(wǎng)公司各自開發(fā)了面向特定應(yīng)用場景的海量小文件存儲(chǔ)系統(tǒng)。然而,這些系統(tǒng)與城軌線網(wǎng)海量小文件存儲(chǔ)系統(tǒng)具有不同的設(shè)計(jì)需求,難以直接應(yīng)用于城軌線網(wǎng)海量小文件數(shù)據(jù)存儲(chǔ)。本文根據(jù)城軌業(yè)務(wù)層次性的數(shù)據(jù)特點(diǎn)和按組順序讀的讀取特點(diǎn),提出基于Fast DFS分布式文件系統(tǒng)和Redis鍵值數(shù)據(jù)庫的城軌線網(wǎng)海量小文件存儲(chǔ)方法,包括小文件聚合存儲(chǔ)方法將客戶端中具有業(yè)務(wù)相關(guān)性的小文件聚合存儲(chǔ)到Fast DFS的同一數(shù)據(jù)文件中;小文件全局索引管理方法將Fast DFS返回的文件索引與小文件的局部索引合并建立全局索引,使用Redis的持久化功能存儲(chǔ)小文件名與其全局索引的鍵值對(duì);小文件讀取方法預(yù)取同一數(shù)據(jù)文件中往后相鄰的多個(gè)文件,并且將預(yù)取的文件內(nèi)容寫入到客戶端緩存中;小文件刪除方法通過設(shè)置文件記錄的狀態(tài)值,使用惰性刪除方法對(duì)小文件進(jìn)行刪除;小文件修改方法通過小文件刪除方法刪除原小文件,直接在數(shù)據(jù)文件的尾部追加新修改的小文件。通過設(shè)計(jì)實(shí)驗(yàn)對(duì)海量小文件存儲(chǔ)系統(tǒng)進(jìn)行了小文件合并寫、小文件追加寫、小文件讀取、小文件刪除、小文件修改五個(gè)功能進(jìn)行功能測試,驗(yàn)證了本文提出的面向城軌線網(wǎng)的海量小文件存儲(chǔ)方法的可行性。同時(shí),也進(jìn)行了性能測試,實(shí)驗(yàn)結(jié)果表明,當(dāng)預(yù)取文件數(shù)量為5個(gè)和客戶端緩存為500MB時(shí),小文件讀取吞吐量最高;同時(shí),相較于Fast DFS系統(tǒng),Fast DFS-Redis系統(tǒng)的小文件讀寫吞吐量分別提高了13.26%和10.47%,達(dá)到明顯改善城軌線網(wǎng)海量小文件的訪問效率的目的。
【關(guān)鍵詞】：小文件存儲(chǔ) 城軌線網(wǎng) FastDFS Redis 訪問性能
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：U29-39;TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-16
• 1.1 課題背景及研究意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-14
• 1.2.1 小文件合并優(yōu)化12-13
• 1.2.2 元數(shù)據(jù)管理優(yōu)化13
• 1.2.3 文件緩存優(yōu)化13-14
• 1.3 研究內(nèi)容14
• 1.4 本文章節(jié)安排14-16
• 第二章 相關(guān)技術(shù)研究16-32
• 2.1 小文件存儲(chǔ)問題16-18
• 2.1.1 傳統(tǒng)磁盤的小文件存儲(chǔ)問題16
• 2.1.2 虛擬文件系統(tǒng)的小文件存儲(chǔ)問題16-17
• 2.1.2 分布式文件系統(tǒng)的小文件存儲(chǔ)問題17-18
• 2.2 FASTDFS分布式文件系統(tǒng)18-24
• 2.2.1 FastDFS的系統(tǒng)架構(gòu)18-20
• 2.2.2 FastDFS的讀寫文件機(jī)制20-23
• 2.2.3 文件索引23
• 2.2.4 文件同步23-24
• 2.2.5 FastDFS在小文件存儲(chǔ)問題的優(yōu)缺點(diǎn)24
• 2.3 REDIS緩存數(shù)據(jù)庫24-31
• 2.3.1 Redis數(shù)據(jù)庫的底層實(shí)現(xiàn)24-28
• 2.3.2 Redis的RDB數(shù)據(jù)持久化機(jī)制28-29
• 2.3.3 Redis的AOF數(shù)據(jù)持久化機(jī)制29-31
• 2.4 本章小結(jié)31-32
• 第三章 海量小文件存儲(chǔ)方法的設(shè)計(jì)32-42
• 3.1 系統(tǒng)需求分析32-33
• 3.1.1 城軌線網(wǎng)的數(shù)據(jù)特點(diǎn)32-33
• 3.1.2 城軌線網(wǎng)的讀寫特點(diǎn)33
• 3.2 海量小文件存儲(chǔ)方法的總體設(shè)計(jì)33-34
• 3.3 小文件聚合存儲(chǔ)模塊34-36
• 3.3.1 數(shù)據(jù)文件的設(shè)計(jì)34-35
• 3.3.2 小文件寫入方法35-36
• 3.4 小文件全局索引管理模塊36-39
• 3.4.1 小文件全局索引結(jié)構(gòu)36-38
• 3.4.2 小文件全局索引的存儲(chǔ)38-39
• 3.5 小文件讀取模塊39
• 3.6 小文件刪除模塊39-40
• 3.7 小文件修改模塊40-41
• 3.8 本章小結(jié)41-42
• 第四章 海量小文件存儲(chǔ)方法的實(shí)現(xiàn)42-54
• 4.1 系統(tǒng)架構(gòu)42-43
• 4.2 FASTDFS和REDIS的客戶端接口43
• 4.3 小文件寫機(jī)制的實(shí)現(xiàn)43-45
• 4.3.1 小文件合并寫43-44
• 4.3.2 小文件追加寫44-45
• 4.4 小文件讀機(jī)制的實(shí)現(xiàn)45-48
• 4.4.1 小文件讀流程45-47
• 4.4.2 FastDFS讀小文件接口的增加47
• 4.4.3 客戶端緩存的實(shí)現(xiàn)47-48
• 4.5 小文件刪除機(jī)制的實(shí)現(xiàn)48-50
• 4.5.1 小文件刪除48-49
• 4.5.2 FastDFS刪除小文件接口的增加49-50
• 4.6 小文件修改機(jī)制的實(shí)現(xiàn)50-51
• 4.6.1 小文件修改50-51
• 4.6.2 FastDFS修改小文件接口的增加51
• 4.7 文件碎片清理的實(shí)現(xiàn)51-53
• 4.8 本章小結(jié)53-54
• 第五章 系統(tǒng)實(shí)驗(yàn)及分析54-64
• 5.1 實(shí)驗(yàn)?zāi)康?/span>54
• 5.2 實(shí)驗(yàn)系統(tǒng)的搭建54-56
• 5.2.1 實(shí)驗(yàn)環(huán)境54-55
• 5.2.2 實(shí)驗(yàn)系統(tǒng)的安裝與部署55-56
• 5.2.3 實(shí)驗(yàn)數(shù)據(jù)56
• 5.3 功能測試56-59
• 5.3.1 小文件合并寫功能測試56-57
• 5.3.2 小文件追加寫功能測試57
• 5.3.3 小文件讀取功能測試57-58
• 5.3.4 小文件刪除功能測試58
• 5.3.5 小文件修改功能測試58-59
• 5.4 性能測試59-63
• 5.4.1 預(yù)取文件數(shù)量測試59-60
• 5.4.2 小文件寫入性能對(duì)比測試60-61
• 5.4.3 小文件讀取性能對(duì)比測試61-63
• 5.5 本章小結(jié)63-64
• 第六章 總結(jié)與展望64-66
• 6.1 本文工作總結(jié)64-65
• 6.2 本文工作展望65-66
• 參考文獻(xiàn)66-69
• 攻讀碩士學(xué)位期間取得的研究成果69-70
• 致謝70-71
• 附件71

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

2 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲(chǔ)和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

3 王鈴惠;李小勇;張軼彬;;海量小文件存儲(chǔ)文件系統(tǒng)研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2012年08期

，

本文編號(hào)：552025