本文關(guān)鍵詞：基于Hadoop的學(xué)習(xí)資源分布模型設(shè)計(jì)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)應(yīng)用和多媒體技術(shù)的不斷發(fā)展，學(xué)習(xí)者的學(xué)習(xí)觀(guān)念和學(xué)習(xí)形式也在不斷的發(fā)生轉(zhuǎn)變。在這種轉(zhuǎn)變下網(wǎng)絡(luò)學(xué)習(xí)滿(mǎn)足了學(xué)習(xí)者的終身學(xué)習(xí)和開(kāi)放式學(xué)習(xí)的需要，，成為學(xué)習(xí)者學(xué)習(xí)的一個(gè)重要途徑和方式。在這種形式下，網(wǎng)絡(luò)學(xué)習(xí)資源的組織和提供成了整個(gè)學(xué)習(xí)過(guò)程中的核心部分。為了滿(mǎn)足學(xué)習(xí)者的需求，各個(gè)單位也分別開(kāi)發(fā)了自己的資源庫(kù)。但是，隨著各個(gè)學(xué)科不斷的發(fā)展，學(xué)習(xí)內(nèi)容不斷的豐富，學(xué)習(xí)資源形式的不斷更新，對(duì)于這些資源的管理就成了一個(gè)核心問(wèn)題。傳統(tǒng)資源庫(kù)對(duì)于大量的學(xué)習(xí)資源的存儲(chǔ)，基本的解決方法是采用升級(jí)硬件設(shè)備的方法，但是隨著學(xué)習(xí)資源爆炸式的增長(zhǎng)，使很多設(shè)備提前“退役”，降低了系統(tǒng)的經(jīng)濟(jì)性。這種方法帶來(lái)巨大的資金投入，形成了硬件瓶頸，但是沒(méi)有從根本上解決問(wèn)題。 云計(jì)算思想在數(shù)據(jù)資源中的應(yīng)用，為解決海量學(xué)習(xí)資源的存儲(chǔ)提供新的解決方案。通過(guò)對(duì)文獻(xiàn)資料的分析研究，發(fā)現(xiàn)采用分布式集群存儲(chǔ)思想是解決這個(gè)問(wèn)題的最佳方案。本文在分析現(xiàn)有的學(xué)習(xí)資源發(fā)展形勢(shì)和國(guó)內(nèi)外資源庫(kù)及云計(jì)算應(yīng)用的研究現(xiàn)狀，結(jié)合Hadoop系統(tǒng)平臺(tái)的自身關(guān)鍵技術(shù)和存儲(chǔ)架構(gòu)，設(shè)計(jì)了一種基于Hadoop云計(jì)算平臺(tái)的海量學(xué)習(xí)資源分布模型。本課題以HDFS為文件存儲(chǔ)，以HBase為元數(shù)據(jù)存儲(chǔ)，構(gòu)建在低廉的計(jì)算機(jī)集群上，實(shí)現(xiàn)海量學(xué)習(xí)資源存儲(chǔ)的分布模型。該模型提高了系統(tǒng)的穩(wěn)定性，擴(kuò)展性和存取高效性。 本課題重點(diǎn)研究的內(nèi)容是在研究Hadoop關(guān)鍵技術(shù)的基礎(chǔ)上，結(jié)合海量學(xué)習(xí)資源的特點(diǎn)，針對(duì)Hadoop在處理海量小文件時(shí)產(chǎn)生的高內(nèi)存、高磁盤(pán)碎片及中心節(jié)點(diǎn)的壓力過(guò)大等問(wèn)題，設(shè)計(jì)了學(xué)習(xí)資源分布模型。在Hadoop模型的基礎(chǔ)上進(jìn)行優(yōu)化，設(shè)計(jì)了以Hadoop為核心的四層架構(gòu)模型，針對(duì)海量學(xué)習(xí)資源中有眾多小文件和學(xué)習(xí)資源之間存在內(nèi)在聯(lián)系的特點(diǎn)，優(yōu)化了學(xué)習(xí)資源文件的分布存儲(chǔ)策略和元數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)，在實(shí)驗(yàn)室條件下使用七臺(tái)計(jì)算機(jī)，借助虛擬機(jī)軟件模擬部署了資源分布模型，并在此模型上進(jìn)行現(xiàn)有數(shù)據(jù)的模擬測(cè)試。 本課題通過(guò)對(duì)學(xué)習(xí)資源的特點(diǎn)設(shè)計(jì)了分布模型，滿(mǎn)足了對(duì)資源存儲(chǔ)的可靠性、高效性、可擴(kuò)展性、低成本的要求。通過(guò)實(shí)驗(yàn)室的模擬測(cè)試，驗(yàn)證了模型的可用性和小學(xué)習(xí)資源文件的存儲(chǔ)策略的正確性。
【關(guān)鍵詞】：Hadoop 分布式 學(xué)習(xí)資源 分布模型
【學(xué)位授予單位】：沈陽(yáng)師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：G434
【目錄】：

• 中文摘要4-5
• Abstract5-7
• 目錄7-9
• 第一章 引言9-14
• 一、 研究背景9-11
• 二、 研究目標(biāo)及意義11-12
• （一） 課題研究目標(biāo)11
• （二） 課題研究意義11-12
• 三、 研究?jī)?nèi)容和方法12-14
• （一） 研究?jī)?nèi)容12-13
• （二） 研究方法13-14
• 第二章 研究現(xiàn)狀與問(wèn)題分析14-23
• 一、 國(guó)內(nèi)外研究現(xiàn)狀14-19
• （一） 資源庫(kù)建設(shè)研究現(xiàn)狀14-16
• （二） 云計(jì)算的研究現(xiàn)狀16-18
• （三） 教育云研究現(xiàn)狀18-19
• 二、 學(xué)習(xí)資源情況及存在問(wèn)題分析19-21
• （一） 學(xué)習(xí)資源情況分析19-20
• （二） 學(xué)習(xí)資源管理中存在的問(wèn)題20-21
• 三、 Hadoop 文件存儲(chǔ)現(xiàn)狀分析21-23
• 第三章 相關(guān)研究介紹23-38
• 一、 分布式關(guān)鍵技術(shù)23-30
• （一） 谷歌的分布式文件系統(tǒng)——GFS23-25
• （二） Hadoop 分布式文件系統(tǒng)——HDFS25-26
• （三） Ceph 文件系統(tǒng)26-27
• （四） Lustre 文件系統(tǒng)27
• （五） FastDFS 文件系統(tǒng)27-28
• （六） TFS 集群文件系統(tǒng)28-30
• 二、 云存儲(chǔ)中的關(guān)鍵技術(shù)30-32
• （一） 虛擬化技術(shù)30-31
• （二） 云存儲(chǔ)中的存儲(chǔ)技術(shù)31
• （三） Mapreduce 技術(shù)31-32
• 三、 Hadoop 開(kāi)源云平臺(tái)32-38
• （一） Hadoop 平臺(tái)簡(jiǎn)介32
• （二） Hadoop 的優(yōu)勢(shì)32-33
• （三） Hadoop 核心技術(shù)33-38
• 第四章 學(xué)習(xí)資源分布模型設(shè)計(jì)與實(shí)現(xiàn)38-49
• 一、 分布模型總體設(shè)計(jì)38-44
• （一） 模型邏輯結(jié)構(gòu)設(shè)計(jì)38-39
• （二） 模型總體架構(gòu)設(shè)計(jì)39-42
• （三） 資源分布存儲(chǔ)設(shè)計(jì)42-44
• 二、 學(xué)習(xí)資源分布存儲(chǔ)設(shè)計(jì)實(shí)現(xiàn)44-49
• （一） 資源元數(shù)據(jù)存儲(chǔ)44
• （二） 文件的劃分選擇44-45
• （三） 數(shù)據(jù)完整性檢查45
• （四） 小文件存儲(chǔ)45-49
• 第五章 學(xué)習(xí)資源分布模型部署與結(jié)果分析49-56
• 一、 模型部署49-50
• （一） 硬件環(huán)境49
• （二） 軟件環(huán)境49-50
• （三） 模擬模型設(shè)計(jì)50
• 二、 實(shí)驗(yàn)環(huán)境搭建50-52
• （一） Linux 虛擬機(jī)安裝與設(shè)置50-51
• （二） 安裝 Java-Jdk51
• （三） Hadoop 的安裝51-52
• （四） 安裝 HBase 數(shù)據(jù)庫(kù)52
• 三、 部署模型所需要的類(lèi)52-53
• 四、 模擬測(cè)試53-56
• （一） 磁盤(pán)空間測(cè)試54
• （二） 產(chǎn)生磁盤(pán)文件測(cè)試54-55
• （三） 內(nèi)存空間占用測(cè)試55-56
• 總結(jié)56-58
• 參考文獻(xiàn)58-60
• 致謝60-61
• 個(gè)人簡(jiǎn)歷61

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 英毅;;云計(jì)算的發(fā)展及其對(duì)教育的影響[J];當(dāng)代教育論壇(綜合研究);2011年01期

2 黎加厚,吳振華,陳雙寅,陳暉;美國(guó)教育資源門(mén)戶(hù)及其對(duì)我國(guó)教育資源建設(shè)的啟迪[J];電化教育研究;2003年08期

3 何禹;胡宇鴻;王一波;;虛擬化技術(shù)在校園網(wǎng)數(shù)據(jù)中心的應(yīng)用[J];電子科技大學(xué)學(xué)報(bào);2007年S3期

4 孫福權(quán);張達(dá)偉;程勖;劉超;;基于Hadoop企業(yè)私有云存儲(chǔ)平臺(tái)的構(gòu)建[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年06期

5 張廣彬;王小寧;陶麗紅;;云計(jì)算對(duì)高校教育信息化建設(shè)的影響[J];中國(guó)冶金教育;2011年05期

6 俞毅;;教育資源庫(kù)建設(shè)的現(xiàn)狀、問(wèn)題及發(fā)展趨勢(shì)[J];黑龍江教育學(xué)院學(xué)報(bào);2008年06期

7 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

8 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開(kāi)發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

9 張霖;羅永亮;陶飛;任磊;郭華;;制造云構(gòu)建關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)集成制造系統(tǒng);2010年11期

10 李成華;張新訪(fǎng);金海;向文;;MapReduce:新型的分布式并行計(jì)算編程模型[J];計(jì)算機(jī)工程與科學(xué);2011年03期

  本文關(guān)鍵詞：基于Hadoop的學(xué)習(xí)資源分布模型設(shè)計(jì)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：370905