隨著互聯(lián)網(wǎng)行業(yè)的快速發(fā)展,每時每刻都不斷有大量數(shù)據(jù)生成,大數(shù)據(jù)的存儲成為當(dāng)前存儲領(lǐng)域的熱門問題。根據(jù)調(diào)查顯示,數(shù)據(jù)量劇增的同時,也出現(xiàn)了數(shù)據(jù)訪問策略分層的現(xiàn)象,其中低頻訪問的冷數(shù)據(jù)占到總數(shù)據(jù)量的八成左右。傳統(tǒng)的數(shù)據(jù)存儲方式解決了大規(guī)模數(shù)據(jù)的存儲問題,但在冷數(shù)據(jù)存儲場景仍存在能耗高成本高的問題。本文針對冷數(shù)據(jù)存儲場景進行優(yōu)化,通過采用控制存儲服務(wù)器硬盤通斷電的方式,對低頻訪問數(shù)據(jù)所在硬盤進行休眠處理,降低系統(tǒng)整體功耗,從而設(shè)計并實現(xiàn)了低功耗低成本高可用可擴展的分布式冷存儲系統(tǒng)。本文主要對系統(tǒng)關(guān)鍵模塊中的功能模塊、狀態(tài)監(jiān)控模塊以及存儲客戶端進行設(shè)計與實現(xiàn)。論文首先闡述了冷存儲系統(tǒng)的研究背景與現(xiàn)狀,并與現(xiàn)有存儲系統(tǒng)進行對比,提出冷存儲系統(tǒng)的設(shè)計思想。接下來從硬件與軟件層面對系統(tǒng)架構(gòu)進行了介紹,并詳細說明了系統(tǒng)關(guān)鍵模塊的組成和作用。本文采用Erlang/OTP框架設(shè)計并實現(xiàn)了硬盤電源控制與健康狀態(tài)檢查模塊。為提高系統(tǒng)數(shù)據(jù)的可靠性和容錯性,本文設(shè)計實現(xiàn)了數(shù)據(jù)掃描和文件重構(gòu)模塊。通過將開源日志套件ELK與冷存儲系統(tǒng)相結(jié)合,設(shè)計實現(xiàn)了集群服務(wù)器和各模塊運行狀態(tài)的監(jiān)控模塊,并根據(jù)日志數(shù)據(jù)聚合查詢生成告... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：88 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－丨ＤＡＳ系統(tǒng)結(jié)構(gòu)示意圖??ＤＡＳ的問題在于數(shù)據(jù)在存儲備份和恢復(fù)過程中，需要使用服務(wù)器的ＣＰＵ、??

存儲區(qū)域網(wǎng)絡(luò)ＳＡＮ，指將多個存儲設(shè)備通過交換設(shè)備迕接到服務(wù)器，形成一??個局域的存儲網(wǎng)絡(luò)。一般采用的交換設(shè)備為光纖通道交換機，也就是ＦＣ－ＳＡＮ，??Ｈ前還有基于ＩＰ網(wǎng)絡(luò)的ＩＰ－ＳＡＮ［＂］。ＳＡＮ系統(tǒng)結(jié)構(gòu)示意圖如圖２－３所示。??７??

縮寫為ＰＯＳＩＸ?）協(xié)議，適合一次寫入，多次讀取的場景［１４】。??ＨＤＦＳ是主從架構(gòu)，ＨＤＦＳ存儲系統(tǒng)主要由Ｃｌｉｅｎｔ、ＮａｍｅＮｏｄｅ、ＤａｔａＮｏｄｅ和??ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ組成。ＨＤＦＳ系統(tǒng)架構(gòu)圖如圖２－４所示。??？?Ｃｌｉｅｎｔ以命令行的方式對ＨＤＦＳ進行訪問和管理，通過訪問ＮａｍｅＮｏｄｅ??獲取文件存儲元信息，并向ＤａｔａＮｏｄｅ存儲和讀取數(shù)據(jù)。??？?ＮａｍｅＮｏｄｅ作為Ｍａｓｔｅｉ？節(jié)點，主要存儲ＨＤＦＳ的數(shù)據(jù)塊映射元數(shù)據(jù)信??息，接收客戶端的請求，并且管理系統(tǒng)中數(shù)據(jù)副本的復(fù)制。??？?ＤａｔａＮｏｄｅ是ＨＤＦＳ系統(tǒng)中主要存儲數(shù)據(jù)的節(jié)點，接受ＮａｍｅＮｏｄｅ的控??制，并與客戶端傳輸數(shù)據(jù)。??８??

【參考文獻】：
期刊論文
[1]冷數(shù)據(jù)存儲研究[J]. 王峰,閆匯,劉圓.  電信技術(shù). 2017(06)
[2]大數(shù)據(jù)環(huán)境下冷數(shù)據(jù)存儲技術(shù)概述[J]. 姜曉青,王欽若.  工業(yè)控制計算機. 2016(06)
[3]社交網(wǎng)站如何“冷”處理海量圖片[J]. 技術(shù)宅.  電腦愛好者. 2015(12)
[4]基于Ceph的分布式存儲節(jié)能技術(shù)研究[J]. 沈良好,吳慶波,楊沙洲.  計算機工程. 2015(08)
[5]如何存儲“冷數(shù)據(jù)”?[J]. 郭嘉凱.  軟件和信息服務(wù). 2013(10)

博士論文
[1]大規(guī)模分布式存儲技術(shù)研究[D]. 魏青松.電子科技大學(xué) 2004

碩士論文
[1]面向冷數(shù)據(jù)存儲的分布式編碼技術(shù)研究與實現(xiàn)[D]. 李元超.華中科技大學(xué) 2016
[2]基于HDFS的分布式存儲研究與應(yīng)用[D]. 童明.華中科技大學(xué) 2012



本文編號：2993258