【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,我們正處于一個信息爆炸式增長的時代。企業(yè)作為應(yīng)用互聯(lián)網(wǎng)技術(shù)最廣泛的群體,其信息增長速度更是十分驚人。在如此龐大的數(shù)據(jù)中,尤其是以電子郵件和即時通訊消息為代表的半結(jié)構(gòu)化數(shù)據(jù)和以各類電子文件為代表的非結(jié)構(gòu)化數(shù)據(jù)的增長速度最快。而如何高效地管理這些數(shù)據(jù),已經(jīng)成為了企業(yè)信息化部門的一項(xiàng)重要課題。數(shù)據(jù)歸檔系統(tǒng)使企業(yè)可以在不丟失對數(shù)據(jù)的實(shí)時訪問能力的情況下將大量很少訪問的歷史數(shù)據(jù)從昂貴的主存儲中解放出來,轉(zhuǎn)存入相對廉價的設(shè)備中,有效地為企業(yè)降低了運(yùn)營成本。另一方面,隨著美國的薩班斯法案、中國的《基金管理公司投資管理人員管理指導(dǎo)意見》等一系列關(guān)于企業(yè)信息管理的法案出臺,對企業(yè)有關(guān)商業(yè)數(shù)據(jù)的舉證、保護(hù)和存儲都提出了更高的要求。良好的歸檔系統(tǒng)能夠提供安全的數(shù)據(jù)保護(hù)和高效的數(shù)據(jù)檢索服務(wù),使企業(yè)能夠應(yīng)對各種舉證等法律要求。傳統(tǒng)歸檔系統(tǒng)往往采用分布式架構(gòu)來處理企業(yè)的大量數(shù)據(jù),這種做法存在部署復(fù)雜,系統(tǒng)可靠性下降等問題。隨著云計(jì)算技術(shù)的不斷發(fā)展,我們逐漸意識到和傳統(tǒng)歸檔系統(tǒng)相比,基于云計(jì)算的系統(tǒng)具有安全可靠、部署簡單、資源利用率高等特點(diǎn),基于云計(jì)算的技術(shù)來進(jìn)行信息歸檔,能夠顯著提高企業(yè)用戶數(shù)據(jù)歸檔的效率。本論文首先對數(shù)據(jù)歸檔系統(tǒng)及云計(jì)算在企業(yè)應(yīng)用的現(xiàn)狀和問題進(jìn)行了分析。并在此基礎(chǔ)上,提出了基于云計(jì)算的歸檔系統(tǒng)模型,將歸檔作為一種云服務(wù)對企業(yè)進(jìn)行提供。然后,詳細(xì)闡述了分布式文件系統(tǒng)和歸檔系統(tǒng)的設(shè)計(jì)機(jī)制及架構(gòu),并進(jìn)行了實(shí)驗(yàn)和部署。最后,分析了整個系統(tǒng)的擴(kuò)展性及一些不足之處,展望了未來的工作。
【圖文】：

圖２－１化ｄｏｏｐ任務(wù)流程示意圖逡逑Ｈａｄｏｏｐ有許多元素構(gòu)成。最底部是Ｈａｄｏｏｐ邋Ｄｉｓｔｒ化ｕｔｅｄ邋Ｆｉｌｅ邋Ｓｙｓｔｅｍ化ＤＦＳ），逡逑它存儲化ｄｏ叩集群中所有存儲節(jié)點(diǎn)上的文件。圖２－１是化ｄｏ叩的運(yùn)行流程；逡逑冊ＦＳ（對于本文）的上一層是Ｍａｐ／Ｒｅｄｕｃｅ引擎，該引擎由ＪｏｂＴｒａｃｋｅｒｓ和逡逑ＴａｓｋＴｒａｃｋｅｒｓ組成。Ｍａｐ邋／邋Ｒｅｄｕｃｅ算法模型和冊ＦＳ是化ｄｏｏｐ的兩個核也組件。逡逑２．２邋Ｈａｄｏｏｐ分布式文件系統(tǒng)逡逑冊ＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架構(gòu)，由一個管理節(jié)點(diǎn)（ＮａｍｅＮｏｄｅ）和多個數(shù)據(jù)節(jié)逡逑點(diǎn)化ａｔａＮｏｄｅ）組成？。管理節(jié)點(diǎn)用于管理集群中的數(shù)據(jù)節(jié)點(diǎn)，并記錄文件系統(tǒng)中逡逑各個文件的基本信息和位置。數(shù)據(jù)節(jié)點(diǎn)則是真正存儲文件數(shù)據(jù)的節(jié)點(diǎn)。其底層實(shí)逡逑現(xiàn)是把一個大文件切割成多個數(shù)據(jù)塊并分散存儲于不同ＤａｔａＮｏｄｅ上，每個數(shù)據(jù)逡逑塊并不會只被存儲在一個ＤａｔａＮｏｄｅ上，為了達(dá)到容錯和提高吞吐量的目的，這逡逑些數(shù)據(jù)塊會被拷貝到多個ＤａｔａＮｏｄｅ中，具體的拷貝份數(shù)則是用戶可自行配置逡逑的。而每個文件的分割情況和數(shù)據(jù)塊的存儲位置，則是記錄在ＮａｍｅＮｏｄｅ中，因逡逑此ＮａｍｅＮｏｄｅ是郵ＦＳ集群中最重要的一個節(jié)點(diǎn)。對于用戶來說

ｒ＾ｆ邐＼（￣＼（＼逡逑Ｉ邋Ｉ邋ｉ邋Ｉ邋ｔ邋S/邋ｔ邋Ｉ逡逑ＣｊＣｊＣＫｊ逡逑圖２－１化ｄｏｏｐ任務(wù)流程示意圖逡逑Ｈａｄｏｏｐ有許多元素構(gòu)成。最底部是Ｈａｄｏｏｐ邋Ｄｉｓｔｒ化ｕｔｅｄ邋Ｆｉｌｅ邋Ｓｙｓｔｅｍ化ＤＦＳ），逡逑它存儲化ｄｏ叩集群中所有存儲節(jié)點(diǎn)上的文件。圖２－１是化ｄｏ叩的運(yùn)行流程；逡逑冊ＦＳ（對于本文）的上一層是Ｍａｐ／Ｒｅｄｕｃｅ引擎，該引擎由ＪｏｂＴｒａｃｋｅｒｓ和逡逑ＴａｓｋＴｒａｃｋｅｒｓ組成。Ｍａｐ邋／邋Ｒｅｄｕｃｅ算法模型和冊ＦＳ是化ｄｏｏｐ的兩個核也組件。逡逑２．２邋Ｈａｄｏｏｐ分布式文件系統(tǒng)逡逑冊ＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架構(gòu)，由一個管理節(jié)點(diǎn)（ＮａｍｅＮｏｄｅ）和多個數(shù)據(jù)節(jié)逡逑點(diǎn)化ａｔａＮｏｄｅ）組成？。管理節(jié)點(diǎn)用于管理集群中的數(shù)據(jù)節(jié)點(diǎn)，并記錄文件系統(tǒng)中逡逑各個文件的基本信息和位置。數(shù)據(jù)節(jié)點(diǎn)則是真正存儲文件數(shù)據(jù)的節(jié)點(diǎn)。其底層實(shí)逡逑現(xiàn)是把一個大文件切割成多個數(shù)據(jù)塊并分散存儲于不同ＤａｔａＮｏｄｅ上，每個數(shù)據(jù)逡逑塊并不會只被存儲在一個ＤａｔａＮｏｄｅ上，為了達(dá)到容錯和提高吞吐量的目的，這逡逑些數(shù)據(jù)塊會被拷貝到多個ＤａｔａＮｏｄｅ中，，具體的拷貝份數(shù)則是用戶可自行配置逡逑的。而每個文件的分割情況和數(shù)據(jù)塊的存儲位置
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉越男;;聚焦數(shù)字時代歸檔的變遷[J];北京檔案;2007年07期

本文編號：2551016