本文關鍵詞：面向勞動者就業(yè)信息服務平臺的分布式存儲系統(tǒng)的設計和實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著信息技術的蓬勃發(fā)展,網(wǎng)絡已經成為了重要的信息載體,大眾對網(wǎng)絡數(shù)據(jù)的需求越來越大,其中之一就是勞動者就業(yè)信息。當前勞動者就業(yè)分散的管理在各級地方政府部門,由于部門數(shù)據(jù)之間相互隔離和技術水平的限制,形成了很多信息孤島,使得大量求職者與企業(yè)管理人員很難在短時間獲取到自己需要的全面就業(yè)信息資源,一定程度造成了當前求職難、招工難等社會問題。為了促進全國就業(yè)服務與就業(yè)管理信息交流和數(shù)據(jù)共享,充分挖掘和利用就業(yè)數(shù)據(jù)信息,急需一個統(tǒng)一的勞動者就業(yè)數(shù)據(jù)數(shù)據(jù)存儲系統(tǒng),向社會公眾提供高效、優(yōu)質、規(guī)范、透明的就業(yè)服務。 本文對分布式存儲相關技術以及相關經典分布式系統(tǒng)進行了調研和分析,結合就業(yè)信息的數(shù)據(jù)的特點和需求,設計并實現(xiàn)了勞動者就業(yè)信息的分布式存儲系統(tǒng)。系統(tǒng)由三個子系統(tǒng)組成。存儲子系統(tǒng)采用了開源分布式存儲系統(tǒng)Cassandra負責勞動者就業(yè)數(shù)據(jù)的永久化存儲。緩存子系統(tǒng)負責緩存熱點的就業(yè)數(shù)據(jù)信息,并在多個地域進行部署,從而提升就業(yè)數(shù)據(jù)的訪問效率和降低存儲子系統(tǒng)的壓力。調度子系統(tǒng)負責用戶請求的接入、解析和轉發(fā),它有效的連接了存儲子系統(tǒng)和緩存子系統(tǒng)。 論文的成果對于那些存儲關系型數(shù)據(jù)、數(shù)據(jù)分散部署在多個地理位置的存儲系統(tǒng)有一定啟發(fā)作用。同時對于分布式緩存系統(tǒng)的設計、容災以及緩存一致性的方面也能起到一定的借鑒作用。
【關鍵詞】：分布式存儲 分布式緩存 緩存的分配算法 緩存一致性
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-10
• 第一章 緒論10-16
• 1.1 論文研究背景10
• 1.2 分布式存儲系統(tǒng)在國內外研究現(xiàn)狀10-13
• 1.2.1 分布式數(shù)據(jù)存儲11-13
• 1.2.2 分布式緩存13
• 1.3 本文主要研究內容13-14
• 1.4 本文組織結構14-15
• 1.5 本章小結15-16
• 第二章 分布式存儲相關問題與典型系統(tǒng)研究16-23
• 2.1 分布式系統(tǒng)的異常16
• 2.2 分布式存儲系統(tǒng)衡量指標16-18
• 2.3 分布式系統(tǒng)的限制18
• 2.4 典型分布式系統(tǒng)的介紹和分析18-22
• 2.4.1 Cassandra19-20
• 2.4.2 Memcached20-21
• 2.4.3 Zookeeper21-22
• 2.5 本章小結22-23
• 第三章 系統(tǒng)的分析與設計23-29
• 3.1 勞動者就業(yè)數(shù)據(jù)的特點分析23
• 3.2 系統(tǒng)的功能和設計目標23-24
• 3.3 系統(tǒng)的設計和架構24-26
• 3.4 分布式存儲子系統(tǒng)的選擇26-27
• 3.4.1 選擇Cassandra的原因26-27
• 3.4.2 存儲子系統(tǒng)的不足27
• 3.5 本章小結27-29
• 第四章 分布式緩存子系統(tǒng)的設計和實現(xiàn)29-49
• 4.1 系統(tǒng)的背景29
• 4.2 困難和挑戰(zhàn)29
• 4.3 緩存系統(tǒng)的功能和設計29-32
• 4.3.1 功能接口與運行方式30-31
• 4.3.2 緩存的部署方式31-32
• 4.3.3 緩存架構32
• 4.4 緩沖池32-34
• 4.4.1 緩沖池的背景32-33
• 4.4.2 緩存池的劃分33-34
• 4.5 緩存數(shù)據(jù)的分配算法34-39
• 4.5.1 哈希取模算法34-35
• 4.5.2 一致性哈希算法35-38
• 4.5.3 系統(tǒng)的分配算法實現(xiàn)38-39
• 4.6 緩存的一致性39-41
• 4.6.1 基于控制器的緩存同步40-41
• 4.6.2 基于外部同步器的方案41
• 4.7 緩存同步器的實現(xiàn)41-44
• 4.7.1 旁路緩存的一致性對同步系統(tǒng)的影響41-42
• 4.7.2 同步器的設計42-43
• 4.7.3 同步器的高可用43-44
• 4.8 容災44-48
• 4.8.1 冗余池的寫入44-45
• 4.8.2 冗余池的讀取45-48
• 4.9 本章小結48-49
• 第五章 調度子系統(tǒng)的設計和實現(xiàn)49-57
• 5.1 背景需求49
• 5.2 困難和挑戰(zhàn)49
• 5.3 調度系統(tǒng)的功能和設計49-51
• 5.4 控制器51-54
• 5.4.1 網(wǎng)絡模塊51-52
• 5.4.2 請求解析模塊52-53
• 5.4.3 請求調度模塊53-54
• 5.5 元數(shù)據(jù)管理子系統(tǒng)54-55
• 5.6 容災55-56
• 5.6.1 控制器的容災55-56
• 5.6.2 元數(shù)據(jù)管理子系統(tǒng)容災56
• 5.7 本章小結56-57
• 第六章 系統(tǒng)的部署與驗證57-70
• 6.1 系統(tǒng)的部署57-59
• 6.1.1 依賴的外部系統(tǒng)57
• 6.1.2 分布式存儲系統(tǒng)Cassandra的部署57-58
• 6.1.3 分布式緩存子系統(tǒng)的部署58-59
• 6.1.4 調度子系統(tǒng)的部署59
• 6.2 系統(tǒng)壓力測試59-69
• 6.2.1 測試環(huán)境59-60
• 6.2.2 測試流程60-61
• 6.2.3 測試結果61-69
• 6.3 本章小結69-70
• 第七章 結論與展望70-72
• 7.1 總結70-71
• 7.2 展望71-72
• 參考文獻72-75
• 致謝75

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前7條

1 王世克;吳集;金士堯;;Web緩存技術概述[J];計算機與信息技術;2005年06期

2 王珊;王會舉;覃雄派;周p

本文編號：390145