本文選題：HDFS文件系統(tǒng)　切入點(diǎn)：節(jié)點(diǎn)選擇算法　出處：《吉林大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：如今的信息快速膨脹，人們從以前的尋找信息到現(xiàn)在的檢索信息、篩選信息，這無不印證著信息量的龐大。對于企業(yè)和生產(chǎn)環(huán)境而言，雖然每天產(chǎn)生龐大的數(shù)據(jù)，但也要對這些大量的數(shù)據(jù)進(jìn)行存儲，用于以后的數(shù)據(jù)挖掘，因?yàn)橥诰虺鰜淼臄?shù)據(jù)分析，最后在生產(chǎn)和營銷環(huán)節(jié)并產(chǎn)生價值--這就是大數(shù)據(jù)的價值。在云計算大行其道的環(huán)境下，因?yàn)樵朴嬎悛?dú)特的服務(wù)提供模式，會在云端產(chǎn)生大量的大數(shù)據(jù)以及用戶數(shù)據(jù)，這也使得如何可靠和安全的保存這些大數(shù)據(jù)而帶來了巨大的挑戰(zhàn)。本文以云計算的大環(huán)境開始介紹，并研究學(xué)習(xí)主流的分布式存儲平臺，提出了基于節(jié)點(diǎn)狀態(tài)的分布式存儲副本分發(fā)策略（Node status based replication distribuion-NSRD策略）�；诠�(jié)點(diǎn)狀態(tài)的分布式存儲副本分發(fā)策略從節(jié)點(diǎn)的狀態(tài)出發(fā)，分析節(jié)點(diǎn)的CPU使用率、磁盤吞吐使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬使用率以及磁盤容量使用率出發(fā)，，闡述了給每個節(jié)點(diǎn)打分的機(jī)制（KPI），并以此KPI為基準(zhǔn)，給文件系統(tǒng)寫入的客戶端進(jìn)行合理的節(jié)點(diǎn)推薦。為了更好的闡述基于節(jié)點(diǎn)狀態(tài)的分布式存儲副本分發(fā)策略，本文把此策略抽象成模型，并分成三個服務(wù)來進(jìn)行闡述。這三個服務(wù)有節(jié)點(diǎn)狀態(tài)獲取服務(wù)、狀態(tài)信息轉(zhuǎn)發(fā)服務(wù)、目標(biāo)節(jié)點(diǎn)選擇服務(wù)。 為了更好的闡述組成基于節(jié)點(diǎn)狀態(tài)的分布式存儲副本分發(fā)策略的三個服務(wù)，本文結(jié)合HDFS文件系統(tǒng)，并在HDFS上的工作原理為依據(jù)闡述了基于節(jié)點(diǎn)狀態(tài)的分布式存儲副本分發(fā)策略的必要性。通過在第3章和第4章中的分析研究得知，先今流行的分布式文件系統(tǒng)都不約而同的選擇了把大文件分片存儲的方式，在做分片存儲時每個文件系統(tǒng)的控制節(jié)點(diǎn)需要給客戶端提供目標(biāo)節(jié)點(diǎn)的推薦。但是控制節(jié)點(diǎn)在給客戶端推薦集群中的存儲節(jié)點(diǎn)時往往采用了Roun-Ronbin隨機(jī)抽選策略。雖然這種策略簡單易實(shí)現(xiàn)，但是因?yàn)闆]有充分考慮的整個集群中節(jié)點(diǎn)的CPU使用、內(nèi)存使用率、磁盤吞吐使用率、網(wǎng)絡(luò)帶寬使用和磁盤空間使用率，會導(dǎo)致尋找的目標(biāo)節(jié)點(diǎn)負(fù)載過高、磁盤容量吃緊的負(fù)面作用。 為了更好的解決上述問題，基于節(jié)點(diǎn)狀態(tài)的分布式存儲副本分發(fā)策略通過節(jié)點(diǎn)狀態(tài)獲取服務(wù)讓存儲節(jié)點(diǎn)準(zhǔn)確實(shí)時的獲取自己的狀態(tài)，并通過狀態(tài)信息轉(zhuǎn)發(fā)服務(wù)轉(zhuǎn)發(fā)給集群中的控制節(jié)點(diǎn)，最后控制節(jié)點(diǎn)通過目標(biāo)節(jié)點(diǎn)選擇服務(wù)進(jìn)行對每個節(jié)點(diǎn)的打分，最終把KPI值最高的節(jié)點(diǎn)信息返回給客戶端。 為了證明NSRD策略的可實(shí)現(xiàn)性，本文通過改進(jìn)HDFS文件系統(tǒng)的副本分發(fā)策略，并將NSRD的節(jié)點(diǎn)狀態(tài)獲取服務(wù)、狀態(tài)信息轉(zhuǎn)發(fā)服務(wù)、目標(biāo)節(jié)點(diǎn)選擇服務(wù)三個服務(wù)集成到HDFS文件系統(tǒng)中，并對其進(jìn)行分不同場景下的實(shí)驗(yàn)。在實(shí)驗(yàn)室的環(huán)境下無法模擬出大規(guī)模的集群環(huán)境，所以本文通過MATLAB來仿真模擬的NSRD策略和HDFS自帶的默認(rèn)策略進(jìn)行比較，分析其傳輸效率以及傳輸穩(wěn)定性。 由于分布式文件系統(tǒng)的分發(fā)機(jī)制還處于研究階段，很多分布式文件系統(tǒng)都沒有集成智能的分發(fā)機(jī)制，所以本以拋磚引玉的方式，提出通過節(jié)點(diǎn)狀態(tài)來決定最終的存儲目標(biāo)節(jié)點(diǎn)的方法。因?yàn)楸疚闹懈鱾�Node的KPI值估值算法里的權(quán)值是通過一種實(shí)驗(yàn)方式獲得并確定，所以需要在今后的工作中使用多種不同的實(shí)驗(yàn)來使權(quán)值更加精確。在日后的工作中如有完整的數(shù)據(jù)節(jié)點(diǎn)評分?jǐn)?shù)據(jù)集時也可以考慮加入機(jī)器學(xué)習(xí)以及預(yù)測的方法來使節(jié)點(diǎn)選擇策略更加的全面。
[Abstract]:Today, the rapid expansion of information, people find information from now to retrieve information, screening information previously, which confirms the huge amount of information for enterprises and production environment, although the huge amount of data generated every day, but also to a large number of these data are stored for subsequent data mining, because of dig out the data, finally in the production and marketing process and produce value -- this is the value of big data. In the popular cloud computing environment, because cloud computing unique service mode, will be a lot of big data and user data in the cloud, and it also brings great challenge to the big data storage how reliable and safe. Based on the cloud computing environment began to introduce and study the distributed storage platform mainstream, is proposed based on the distributed node state storage copies thereof (Node status based replication strategy distribuion-NSRD strategy). Distributed storage replica node state starting from node distribution strategy based on state analysis, node CPU usage, disk throughput usage, memory usage, network bandwidth usage and disk capacity utilization, and expounded the mechanism to each node (KPI). And the KPI is used as a benchmark, to write the file system client node reasonable recommendation. In order to explain the distributed storage replica node based on the state of distribution strategy, the strategy of abstract model, and divided into three service to carry on the elaboration. The three service node status obtain service state information forwarding service, the target node selection service.
In order to explain the composition of the three service delivery strategy of distributed storage replica nodes based on state, combined with the HDFS file system, and the working principle of HDFS as the basis for the necessity of distribution strategy of distributed storage replica nodes based on state. Through the analysis in the third and fourth chapter that distributed file the system now popular are invariably chose to file slice storage way in control node slice storage when each file system needs to provide the client the target node's recommendation. But the control node in the recommendation to the client storage nodes in the cluster are often used Roun-Ronbin random selection strategy. Although this the strategy is simple and easy to implement, but because did not fully consider the entire node in the cluster CPU, memory usage, disk throughput rate, network bandwidth The use of and disk space usage can lead to the negative effect of the overloading of the target node and the tight disk capacity.
In order to solve the above problems, distributed storage replica node state distribution strategy to obtain services through the node status for the storage node accurate real-time access to the state based on the state information and the forwarding service is transmitted to the control nodes in the cluster, finally the control node selects a service to each node by scoring the target node, the KPI the highest returns the node information to the client.
In order to prove that the implementation of NSRD strategy, this paper improved the HDFS file system copy distribution strategy, and node state NSRD access service, information forwarding service, the target node selection service three services are integrated into the HDFS file system, and not the same scenario experiments to simulate clusters on it. The large-scale environment in the laboratory environment, so this paper uses MATLAB to simulate the default strategy NSRD strategy and HDFS own comparison, analysis of stability of the transmission and transmission efficiency.
The distribution mechanism of distributed file system is still in the research stage, many distributed file systems are not integrated the intelligentdistribution mechanism, so the way to start, put forward methods to determine the final storage destination node by node state. Because each Node the KPI value valuation algorithm weights is through an experiment to obtain and identify, so we need to work in the future to use a variety of different experimental weight more accurate. In the days after work if the data nodes complete score data set can also be considered when adding machine learning and prediction method to the node selection strategy is more comprehensive.

【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333;TP316.4

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J];微電子學(xué)與計算機(jī);2006年10期

2 張子鵬;劉海濤;管海兵;;采用信任管理的分布式文件系統(tǒng)TrustFs[J];計算機(jī)工程;2009年01期

3 陳建榮;傅黎;;Novell網(wǎng)絡(luò)環(huán)境下分布式文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J];海軍工程大學(xué)學(xué)報;1993年03期

4 李相娜;曹強(qiáng);趙旺;魏沁祺;;加快分布式文件系統(tǒng)元數(shù)據(jù)訪問的研究與實(shí)現(xiàn)[J];微處理機(jī);2008年02期

5 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲技術(shù)研究[J];計算機(jī)工程;2009年05期

6 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

7 周建強(qiáng);薛行;徐希豪;楊培根;孫鐘秀;;分布式文件系統(tǒng)NDFS的設(shè)計和實(shí)現(xiàn)[J];計算機(jī)研究與發(fā)展;1990年07期

8 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲介質(zhì)評測與分析[J];計算機(jī)學(xué)報;2010年10期

9 李桂萍;;云計算的兩大特性:虛擬化、分布式[J];通信世界;2011年16期

10 張維慶,袁宏春;基于E-mail的分布式文件系統(tǒng)(MDFS)[J];福建電腦;2004年07期

相關(guān)會議論文 前10條

1 王波;周曉光;蘇志遠(yuǎn);;基于節(jié)點(diǎn)狀態(tài)的P2P流量識別系統(tǒng)[A];中國電子學(xué)會第十五屆信息論學(xué)術(shù)年會暨第一屆全國網(wǎng)絡(luò)編碼學(xué)術(shù)年會論文集（下冊）[C];2008年

2 王波;周曉光;蘇志遠(yuǎn);;基于節(jié)點(diǎn)狀態(tài)的P2P流量識別系統(tǒng)[A];2008通信理論與技術(shù)新發(fā)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（下）[C];2008年

3 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（二）[C];2006年

4 邢海韜;黃孜祺;肖健;;應(yīng)用動態(tài)管理技術(shù)優(yōu)化海量數(shù)據(jù)管理[A];廣西計算機(jī)學(xué)會2008年年會論文集[C];2008年

5 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會2008年學(xué)術(shù)年會論文集（上）[C];2008年

6 王志穎;;飛行器電子系統(tǒng)地面測控軟件設(shè)計[A];中國工程物理研究院科技年報（2001）[C];2001年

7 王振旗;王賀;肖柏旭;;狀態(tài)緩存機(jī)制在結(jié)構(gòu)化P2P系統(tǒng)中的應(yīng)用[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（二）[C];2006年

8 周偉東;;OpenVMS平臺下自動SHUTDOWN軟件的編制[A];中國造船工程學(xué)會’04 MIS/S&A學(xué)術(shù)交流會學(xué)術(shù)論文集[C];2004年

9 薛航;程良倫;;基于時間異步模式的無線傳感器網(wǎng)絡(luò)目標(biāo)跟蹤動態(tài)成簇算法[A];中國自動化學(xué)會中南六�。▍^(qū)）2010年第28屆年會·論文集[C];2010年

10 楊凱博;;礦井安全監(jiān)控系統(tǒng)節(jié)點(diǎn)管理及信息處理[A];煤礦自動化與信息化——第19屆全國煤礦自動化與信息化學(xué)術(shù)會議暨中國礦業(yè)大學(xué)（北京）百年校慶學(xué)術(shù)會議論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

2 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報;2004年

3 顧仁達(dá);營業(yè)執(zhí)照副本（網(wǎng)絡(luò)版）的原理及使用[N];中國工商報;2000年

4 記者 劉賦 李俊;大多坦然亮副本[N];重慶商報;2000年

5 容若 譯;美學(xué)者在英發(fā)現(xiàn)海地《獨(dú)立宣言》唯一已知印刷副本[N];中國檔案報;2010年

6 李延峰;網(wǎng)“助”云計算[N];計算機(jī)世界;2010年

7 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 王家壩守堤者;尋找失落的世界[N];中國電腦教育報;2004年

9 北京市石景山區(qū)地稅局 王圓圓;營業(yè)執(zhí)照正副本是否應(yīng)納印花稅[N];中國財經(jīng)報;2002年

10 江西財經(jīng)大學(xué)國際經(jīng)貿(mào)學(xué)院 王善論;單據(jù)的頁數(shù)與附件、正本與副本[N];國際商報;2003年

相關(guān)博士學(xué)位論文 前10條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學(xué);2011年

3 楊永全;飲食健康中的食物體積估算云計算技術(shù)研究[D];中國海洋大學(xué);2013年

4 馮軍煥;移動Ad Hoc網(wǎng)絡(luò)媒體接入控制研究[D];西南交通大學(xué);2008年

5 李彭軍;醫(yī)學(xué)影像云服務(wù)平臺基礎(chǔ)架構(gòu)研究與實(shí)踐[D];南方醫(yī)科大學(xué);2011年

6 劉敏華;基于SDG模型的故障診斷及應(yīng)用研究[D];清華大學(xué);2005年

7 劉曉茜;云計算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

8 戴楊;耦合時滯復(fù)雜網(wǎng)絡(luò)的同步性研究[D];上海交通大學(xué);2009年

9 秦懷峰;面向感知網(wǎng)的上下文敏感計算技術(shù)研究[D];西北工業(yè)大學(xué);2006年

10 魏青松;大規(guī)模分布式存儲技術(shù)研究[D];電子科技大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 權(quán)一男;基于節(jié)點(diǎn)狀態(tài)的分布式文件系統(tǒng)存儲副本分發(fā)策略的研究[D];吉林大學(xué);2013年

2 魯薇;P2P網(wǎng)絡(luò)中基于節(jié)點(diǎn)狀態(tài)的激勵機(jī)制研究[D];西南大學(xué);2010年

3 王春芳;自治域系統(tǒng)節(jié)點(diǎn)狀態(tài)獨(dú)立性研究[D];清華大學(xué);2004年

4 王敬軒;分布式文件系統(tǒng)存儲效率優(yōu)化研究[D];華中科技大學(xué);2013年

5 葉為民;分布式文件系統(tǒng)自適應(yīng)負(fù)載調(diào)度研究[D];華中科技大學(xué);2013年

6 匡士杰;云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究[D];電子科技大學(xué);2013年

7 龔高晟;通用分布式文件系統(tǒng)的研究與改進(jìn)[D];華南理工大學(xué);2010年

8 李書鵬;分布式文件系統(tǒng)在云存儲環(huán)境下的若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2011年

9 周昶;基于對象分布式文件系統(tǒng)的存儲緩存研究[D];杭州電子科技大學(xué);2011年

10 許敏;分布式文件系統(tǒng)容錯機(jī)制的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

本文編號：1571316