隨著云計算和大數據的高速發(fā)展,服務器集群往往需要面對海量數據和超高并發(fā)量,為此需要解決其所帶來的業(yè)務請求量和網絡IO開銷,當前大量虛擬現實應用結合分布式服務器集群和云計算資源來滿足海量用戶對于數據的實時交互、圖像渲染和存儲等要求,并保證數據的安全性和實時性,如何設計分布式服務器架構來滿足虛擬現實應用對于IO密集型服務的要求一直是一個很重要的課題。本文針對主流大數據分布式計算框架無法滿足虛擬現實應用對于高實時性業(yè)務和數據密集型服務的要求,進行分布式服務器框架的研究和設計,針對IO密集型的業(yè)務特點,制定針對性的設計,比如多線程的異步網絡庫,分布式緩存等來增加響應速度和吞吐量。本文分析了分布式系統(tǒng)的國內外相關研究現狀,深入研究和設計分布式服務器架構,主要有四個部分:一是對集群節(jié)點間的協(xié)同工作和數據一致性方案進行設計和優(yōu)化;二是對分布式數據庫集群和分布式緩存設計和實現;三是對負載均衡算法和路由策略的設計;四是對服務器框架的設計,其中重點設計與實現的策略和算法包括網絡庫、協(xié)同策略、一致性算法、負載均衡算法,分布式數據庫和算法以及節(jié)點的拓撲結構等,詳細介紹了分布式服務器的一些基礎組件和算法,針對虛擬現實應用和分布式系統(tǒng)的特點,進行一些組件調整和優(yōu)化。為了驗證本文提出的架構,本文設計了一個分布式服務器集群系統(tǒng),部署在阿里云和騰訊云,主要功能是在高并發(fā)的情況下提供用戶各種高實時性的數據服務,滿足實時性、高可用性、高擴展性的要求,解決虛擬現實系統(tǒng)對于高并發(fā)用戶交互和海量數據存儲和發(fā)送等問題,并且提供多副本來保證系統(tǒng)的高可用性,并解決一致性等問題,服務器集群可以根據具體的業(yè)務定制不同策略,主要開發(fā)和測試平臺是linux環(huán)境,為了配合云端的計算資源,運行環(huán)境統(tǒng)一為centos7.2,總共有10個節(jié)點來進行實驗,30個提供線上項目,并提供給用戶檢索海量數據、數據傳輸和中小型計算的3種服務類型,保證數據安全和傳輸效率。通過系統(tǒng)測試顯示,本文設計實現的系統(tǒng)各個模塊、算法能正確運行,并能部署在云節(jié)點中穩(wěn)定運行并在高并發(fā)下提供服務,滿足設計目標。
【學位單位】：廣東工業(yè)大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP391.9;TP368.5
【部分圖文】：

第二章 分布式基礎理論進行分布式計算，下文將介紹上述 2 種比較有名的分布式系統(tǒng)架構。HDFS 的設計目的是為了提供高容錯性的分布式系統(tǒng)，適合部署在廉價的機器上進行高吞吐的數據訪問，其總體結構還是參考了 master/slave 架構，主要的節(jié)點組件為 Client、NameNode（名字服務節(jié)點）、SecondNameNode（二級名字服務器節(jié)點）和 DataNode（數據節(jié)點），如圖 1 所示。

圖 2 MapReduce 架構圖Figure 1 MapReduce Architecture文獻[6]指出 MapReduce 將數據計算過程分成 Map 和 Reduce 兩個階段，將數據表述為鍵值對。經過多次函數的串接，將數據的計算轉化為一系列函數的執(zhí)行。Hadoop 將用戶的應用程序和配置打包成 Jar 文件存儲在 HDFS，然后JobTracker 會根據應用程序創(chuàng)建 Task，其中 Task 分成 MapTask 和 ReduceTask，并分配到 TaskTracker 中，JobTracker 還進行資源監(jiān)控和作業(yè)調度，監(jiān)控所有的TaskTracker 和 job 的健康狀況，并在空閑的 slave 分配任務。2.5 小結本章主要介紹分布式系統(tǒng)的基礎理論和技術，主要有四個部分。第一部分介紹分布式系統(tǒng)的特點，簡單介紹了分布式系統(tǒng)的優(yōu)缺點和特征

第三章 分布式服務器關鍵技術研究與設計接分配一個線程的方案，伸縮性很受限，如果用戶數量太多，操作系統(tǒng)，切換上下文非常的重。方案 3 和方案 4 都是之前方案的優(yōu)化，以上都網絡編程。方案 5 是基本的單線程 Reactor 方案，比較適合 IO 密集型合 CPU 密集型，所以非常適合虛擬現實的相關應用，因為虛擬現實應 IO 密集型，Reactor 結構如圖 3。
【參考文獻】

相關期刊論文 前10條

1 宋寶燕;王俊陸;王妍;;基于范德蒙碼的HDFS優(yōu)化存儲策略研究[J];計算機學報;2015年09期

2 劉思堯;李強;李斌;;基于Docker技術的容器隔離性研究[J];軟件;2015年04期

3 馬越;黃剛;;基于Docker的應用軟件虛擬化研究[J];軟件;2015年03期

4 劉亞秋;邢樂樂;景維鵬;;云計算環(huán)境下基于時間期限和預算的調度算法[J];計算機工程;2013年06期

5 凌質億;劉哲星;曹蕾;;高并發(fā)環(huán)境下Apache與Nginx的I/O性能比較[J];計算機系統(tǒng)應用;2013年06期

6 張超;潘旭東;;Linux下基于EPOLL機制的海量網絡信息處理模型[J];強激光與粒子束;2013年S1期

7 鄭文武;李先緒;黃執(zhí)勤;;云計算中的并行計算技術分析[J];電信科學;2011年12期

8 劉斌;徐精明;代素環(huán);葛華;;基于Linux虛擬服務器的負載均衡算法[J];計算機工程;2011年23期

9 吳德會;;動態(tài)指數平滑預測方法及其應用[J];系統(tǒng)管理學報;2008年02期

10 吳俊敏;李黃海;黃劉生;鮑春健;王文韜;;高可用應用開發(fā)平臺的設計與實現[J];計算機工程;2006年24期

本文編號：2842696