本文關鍵詞：基于Hadoop平臺的高可用性云存儲系統(tǒng)的設計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：黑龍江省人力資源和社會保障廳從事社會保障和保險已經(jīng)多年，依托工業(yè)和黑龍江省經(jīng)濟的發(fā)展，在信息化領域的建設上取得了很大的成就�，F(xiàn)在黑龍江省人力資源和社會保障廳的社會保險業(yè)務的涵蓋范圍已經(jīng)由原來的傳統(tǒng)“五險”擴大到包含征地失地農(nóng)民養(yǎng)老、農(nóng)村養(yǎng)老、城鎮(zhèn)居民養(yǎng)老和醫(yī)療、個體參保及老年居民補貼的全社會保險，服務對象則由原來的僅有地市級城市的企事業(yè)單位職工擴大到縣鄉(xiāng)級別的城鄉(xiāng)居民；因此，現(xiàn)實對黑龍江省人力資源和社會保障廳的行政能力要求也在提高。信息化系統(tǒng)依靠設備更強大的性能提升工作人員的工作效率，隨著信息化的不斷深入，社會保險數(shù)據(jù)的積累總量也在迅速的增長。社會保險的數(shù)據(jù)是黑龍江省人力資源和社會保障廳的最重要的數(shù)據(jù)之一，，它的安全直接關系著人民的基本利益，社會的安定和諧以及社會保險業(yè)務的開展。因此，為了保證數(shù)據(jù)的安全，對于社保數(shù)據(jù)建立可靠的數(shù)據(jù)保護方案已經(jīng)迫在眉睫。 本文通過對系統(tǒng)需求的全面分析和對技術實現(xiàn)可能性的評估，決定采用C/S體系進行系統(tǒng)的開發(fā)。系統(tǒng)使用的是java語言，采用Hadoop架構和swt編寫其外殼，特別地，針對社保驗證和管理系統(tǒng)的需要，引入了SQL解析器，既可以控制用戶的使用，還可以簡化進一步的開發(fā)成本。整體系統(tǒng)的開發(fā)是在Ubuntu Linux環(huán)境下使用Eclipse進行開發(fā)，本地服務器采取Jetty，數(shù)據(jù)庫由本身實現(xiàn)。 本文的研究內(nèi)容主要包括三個子系統(tǒng)：集群存儲系統(tǒng)、管理員管理系統(tǒng)、用戶服務系統(tǒng)。集群存儲系統(tǒng)分為Namenode和Datanode兩個模塊,并且在此之上實現(xiàn)了高可用性的配置，對于主節(jié)點Namenode增加了一個備份節(jié)點即從Namenode,以增加容錯功能。當發(fā)生單點故障時，采用Paxos算法，進行從主節(jié)點Namenoded到Datanode的切換。這樣系統(tǒng)的容災配置可以提供高可用性的數(shù)據(jù)存儲并且有防范單點故障的功能；管理員管理系統(tǒng)可以運行在管理員的個人電腦上從而可以讓管理員登錄集群，配置、監(jiān)控并管理集群的狀態(tài)，對集群的數(shù)據(jù)進行讀寫或備份還原，對集群的節(jié)點進行調(diào)配，并且管理社保用戶的狀態(tài)。用戶服務系統(tǒng)是云存儲的系統(tǒng)和用戶現(xiàn)存的系統(tǒng)的對接，可以為社保終端機用戶提供鑒權和社保數(shù)據(jù)的讀寫功能。 通過對本課題的研究，已經(jīng)實現(xiàn)了社保管理系統(tǒng)對存儲系統(tǒng)的需求功能。目前系統(tǒng)已經(jīng)完成功能測試和性能測試，并在公司進行了系統(tǒng)的功能測試以及和原有的金保系統(tǒng)的集成測試，符合預期的需求。系統(tǒng)現(xiàn)已投入到生產(chǎn)運行當中。
【關鍵詞】：云存儲 Hadoop 高可用性 Paxos算法 社保系統(tǒng)
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP311.52;TP333
【目錄】：

• 摘要4-5
• Abstract5-7
• 目錄7-9
• 第1章 緒論9-15
• 1.1 課題背景及研究的目的和意義9
• 1.2 國內(nèi)外研究現(xiàn)狀分析9-14
• 1.2.1 國外的研究狀況10-11
• 1.2.2 國內(nèi)的研究狀況11-13
• 1.2.3 社保數(shù)據(jù)與高可用性13-14
• 1.3 論文的主要研究內(nèi)容14-15
• 第2章 云存儲系統(tǒng)的系統(tǒng)需求分析15-26
• 2.1 系統(tǒng)的功能性需求16-23
• 2.1.1 集群存儲系統(tǒng)模塊需求分析18-21
• 2.1.2 管理員管理系統(tǒng)模塊需求分析21-22
• 2.1.3 用戶服務系統(tǒng)模塊需求分析22-23
• 2.2 系統(tǒng)的非功能性需求23
• 2.3 關鍵技術分析23-25
• 2.4 本章小結25-26
• 第3章 云存儲系統(tǒng)的總體設計26-37
• 3.1 云存儲系統(tǒng)整體設計架構26-27
• 3.2 云存儲系統(tǒng)的網(wǎng)絡結構27-28
• 3.3 集群存儲系統(tǒng)的邏輯和架構28-30
• 3.4 云存儲系統(tǒng)的數(shù)據(jù)模型設計30-36
• 3.4.1 存儲系統(tǒng)的數(shù)據(jù)模型設計30-34
• 3.4.2 管理員管理系統(tǒng)的數(shù)據(jù)模型設計34-35
• 3.4.3 用戶服務系統(tǒng)的數(shù)據(jù)模型設計35-36
• 3.5 本章小結36-37
• 第4章 云存儲系統(tǒng)的實現(xiàn)37-60
• 4.1 命令簡介37
• 4.2 存儲系統(tǒng)的實現(xiàn)37-51
• 4.2.1 Datanode 的設計與實現(xiàn)41-42
• 4.2.2 Namenode 的設計與實現(xiàn)42-46
• 4.2.3 容災功能的設計與實現(xiàn)46-51
• 4.3 管理員管理系統(tǒng)的設計與實現(xiàn)51-57
• 4.3.1 用戶管理模塊的設計與實現(xiàn)52-54
• 4.3.2 管理員文件操作模塊的設計與實現(xiàn)54-56
• 4.3.3 管理員節(jié)點管理模塊的設計與實現(xiàn)56-57
• 4.4 用戶服務模塊的設計與實現(xiàn)57-59
• 4.5 本章小結59-60
• 第5章 云存儲系統(tǒng)的測試60-70
• 5.1 測試方案60-61
• 5.1.1 測試目標60
• 5.1.2 測試范圍60
• 5.1.3 測試環(huán)境60-61
• 5.2 系統(tǒng)功能測試61-65
• 5.2.1 存儲功能模塊功能測試61-62
• 5.2.2 容災模塊功能測試62
• 5.2.3 管理員管理系統(tǒng)功能測試62-63
• 5.2.4 用戶服務系統(tǒng)功能測試63-65
• 5.3 系統(tǒng)性能測試65-68
• 5.3.1 測試環(huán)境65
• 5.3.2 測試工具65-66
• 5.3.3 測試方法66
• 5.3.4 測試結果66-68
• 5.4 測試結論68
• 5.5 本章小結68-70
• 結論70-72
• 參考文獻72-77
• 致謝77-78
• 個人簡歷78

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 錢文靜;鄧仲華;;云計算與信息資源共享管理[J];圖書與情報;2009年04期

2 鄭文武;李先緒;黃執(zhí)勤;;云計算中的并行計算技術分析[J];電信科學;2011年12期

3 張健;;云計算概念和影響力解析[J];電信網(wǎng)技術;2009年01期

4 林大云;;基于Hadoop的微博信息挖掘[J];計算機光盤軟件與應用;2012年01期

5 王樹鵬,云曉春,余翔湛,胡銘曾;容災的理論與關鍵技術分析[J];計算機工程與應用;2004年28期

6 蔡皖東,何得勇,韓蕾,劉成光;一種網(wǎng)絡容災系統(tǒng)的設計與實現(xiàn)[J];計算機工程;2004年07期

7 劉迎風,祁明;容災技術及其應用[J];計算機應用研究;2002年06期

8 孫香花;;云計算研究現(xiàn)狀與發(fā)展趨勢[J];計算機測量與控制;2011年05期

9 馮登國;張敏;張妍;徐震;;云計算安全研究[J];軟件學報;2011年01期

10 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯機制研究[J];微電子學與計算機;2007年09期

  本文關鍵詞：基于Hadoop平臺的高可用性云存儲系統(tǒng)的設計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：437083