隨著互聯(lián)網(wǎng)應(yīng)用的快速增長,出現(xiàn)了大量的數(shù)據(jù)整合和聚集現(xiàn)象使得數(shù)據(jù)處理應(yīng)用的需求量呈爆發(fā)式膨脹,加快了“大數(shù)據(jù)時代”的到來。伴隨著數(shù)據(jù)種類的豐富多樣和數(shù)據(jù)規(guī)模的不斷擴大,數(shù)據(jù)的分析和處理技術(shù)也在不斷進(jìn)行著改進(jìn),出現(xiàn)了很多的大數(shù)據(jù)處理軟件。但是搭建和部署一個大數(shù)據(jù)集群對于中小企業(yè)來說在經(jīng)濟上和技術(shù)上都是一大筆的開銷。將大數(shù)據(jù)處理軟件集群部署在云平臺上,從技術(shù)層面,云計算技術(shù)解決了上層應(yīng)用和底層的計算資源松耦合;從業(yè)務(wù)層面,使用大數(shù)據(jù)處理軟件進(jìn)行數(shù)據(jù)處理的人員可以只關(guān)注業(yè)務(wù)的處理,大數(shù)據(jù)集群則交給第三方云提供者進(jìn)行維護管理。本論文就是依據(jù)新華三云計算部門和大數(shù)據(jù)部門進(jìn)行云數(shù)融合的迫切需求,設(shè)計并實現(xiàn)了基于OpenStack的大數(shù)據(jù)PaaS（Platform as a Service）服務(wù)模塊,以PaaS服務(wù)的方式將大數(shù)據(jù)處理軟件集群提供給用戶。大數(shù)據(jù)平臺即服務(wù)（Big Data Platform as a Service,BDPaaS）通常用于指對大型或復(fù)雜數(shù)據(jù)集（通常通過Internet）進(jìn)行分析的服務(wù),即云托管服務(wù)。作者針對大數(shù)據(jù)處理軟件集群部署過程繁雜,管理困難的問題,基于OpenSt... 

【文章來源】：西南交通大學(xué)四川省 211工程院校 教育部直屬院校

【文章頁數(shù)】：99 頁

【學(xué)位級別】：碩士

【部分圖文】：

OpenStack概念架構(gòu)圖

務(wù)提供統(tǒng)一界面的 Portal，為云基礎(chǔ)設(shè)施提供面向用戶的圖形操作接口，為用戶提供集云服務(wù)，云運營，云運維為一體的門戶式站點。中間層為系統(tǒng)層，也是最為核心的部分，實現(xiàn)了對第三方軟件的調(diào)用，實現(xiàn)了滿足市場需求的功能，并提供開放、標(biāo)準(zhǔn)的協(xié)議接口，便于云管理平臺與第三方管理平臺對接，同時方便用戶基于云操作系統(tǒng)進(jìn)行二次開發(fā)。最底層為內(nèi)核層，是各種第三方應(yīng)用，為系統(tǒng)實現(xiàn)服務(wù)功能提供支撐，比如主機服務(wù)和網(wǎng)絡(luò)存儲服務(wù)需要使用 OpenStack、容器服務(wù)需要使用 Kubernetes 對容器中應(yīng)用進(jìn)行管理、應(yīng)用服務(wù)使用 Harbor 提供鏡像倉庫[40]，使用 Cloudify[41]實現(xiàn)用的部署。整個項目為微服務(wù)的架構(gòu)，通過對服務(wù)的深刻理解，將系統(tǒng)分為了不同的微服務(wù)，為用戶提供了豐富多樣的云服務(wù)目錄，比如主機服務(wù)，容器服務(wù)，數(shù)據(jù)庫服務(wù)，但數(shù)據(jù)服務(wù)等。這些微服務(wù)部署在 Docker 容器中，并使用 Kubernetes 進(jìn)行對容器的部署和管理，實現(xiàn)了系統(tǒng)的高可用、平滑擴展和平滑升級。每個服務(wù)都可以提供開放、標(biāo)準(zhǔn)的協(xié)議接口，便于云管理平臺與第三方管理平臺對接，同時方便用戶基于 CloudOS 進(jìn)行二次開發(fā)。

中進(jìn)行單獨的部署、運行、維護、升級，但是在功能上在系統(tǒng)中看起來是完整的一個整體，實際上就是服務(wù)與服務(wù)之間的松耦合。所謂的整體，是在用戶使用時所體現(xiàn)出來的，比如有著統(tǒng)一的訪問入口，統(tǒng)一的權(quán)限管理，統(tǒng)一的界面風(fēng)格，統(tǒng)一的日志方法，統(tǒng)一的審批流程。微服務(wù)的目的是將系統(tǒng)的功能進(jìn)行有效的拆分，實現(xiàn)功能與功能之間的松耦合，實現(xiàn)敏捷開發(fā)[43]和部署。2.2.2.1 微服務(wù)優(yōu)勢現(xiàn)在互聯(lián)網(wǎng)行業(yè)的應(yīng)用都是龐然大物，需要不斷的進(jìn)行迭代開發(fā)。一體式的架構(gòu)模式雖然開發(fā)起來簡單直接，但是項目的管理上是集中式的，基本不會重復(fù)開發(fā)；一體式架構(gòu)項目的功能都在本地，不會存在分布式的管理開銷，無法滿足高并發(fā)的業(yè)務(wù)需求；一體式架構(gòu)項目的開發(fā)效率也很低，所有的開發(fā)都是在一個項目上進(jìn)行修改，提交代碼就會出現(xiàn)很多的代碼沖突，互相等待；一體式架構(gòu)項目的代碼維護比較困難，穩(wěn)定性不高，一個微不足道的小問題都可以導(dǎo)致系統(tǒng)的崩潰，無法使用；一體式架構(gòu)項目的部署也不是很靈活，項目出了問題，不管問題的大小都要進(jìn)行重新構(gòu)建整個項目，對于大型項目來說構(gòu)建的過程一般會花費很長一段時間。

【參考文獻(xiàn)】：
期刊論文
[1]Docker技術(shù)在微服務(wù)中的應(yīng)用[J]. 章仕鋒,潘善亮.  電子技術(shù)與軟件工程. 2019(04)
[2]基于Openstack Swift的高可用存儲方案研究與實現(xiàn)[J]. 張曉莉,文成玉,原子楨.  成都信息工程大學(xué)學(xué)報. 2019(01)
[3]以KVM-QEMU與Libvirt為依托的虛擬化資源池建設(shè)探究[J]. 賀偉,李鳳.  計算機產(chǎn)品與流通. 2018(12)
[4]SDN性能優(yōu)化技術(shù)研究綜述[J]. 孫濤,張俊星.  計算機科學(xué). 2018(S2)
[5]敏捷開發(fā)在應(yīng)用全生命周期管理上的最佳實踐[J]. 余明俊,高瀾.  中國新通信. 2018(16)
[6]SpringBoot框架在web應(yīng)用開發(fā)中的探討[J]. 呂宇琛.  科技創(chuàng)新導(dǎo)報. 2018(08)
[7]基于CAS的單點登錄系統(tǒng)的研究與實現(xiàn)[J]. 趙晉,楊旭東.  軟件. 2016(11)
[8]《大數(shù)據(jù)時代》[J]. 維克托·邁爾-舍恩伯格,肯尼思·庫克耶,盛楊燕,周濤.  教育科學(xué)論壇. 2016(10)
[9]基于Puppet的自動化部署工具的設(shè)計與實現(xiàn)[J]. 李小文,劉玉龍.  軟件. 2015(12)
[10]基于OpenStack和Cloudify的自伸縮云平臺體系[J]. 裴超,吳穎川,劉志勤,王耀彬,楊雷.  計算機應(yīng)用. 2014(06)

碩士論文
[1]分布式離線計算平臺的數(shù)據(jù)可視化系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王倩倩.西南交通大學(xué) 2018
[2]基于OpenStack的Cloud OS云平臺對接Trove組件的研究與實現(xiàn)[D]. 向彬彬.杭州電子科技大學(xué) 2018
[3]基于IaaS的大數(shù)據(jù)容器集群關(guān)鍵技術(shù)研究[D]. 王淼鑫.北京郵電大學(xué) 2018
[4]基于Chef的自動化云環(huán)境配置系統(tǒng)設(shè)計與實現(xiàn)[D]. 任子博.中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院) 2017
[5]面向中小軟件開發(fā)商的Web應(yīng)用構(gòu)件共享PaaS平臺設(shè)計與實現(xiàn)[D]. 趙楠.西南交通大學(xué) 2017
[6]基于Docker的PaaS平臺的研究與應(yīng)用[D]. 江萌.華北電力大學(xué)(北京) 2017
[7]基于Node.js的基礎(chǔ)框架設(shè)計與實現(xiàn)[D]. 楊曉婷.北京郵電大學(xué) 2017
[8]基于SaltSatck的云數(shù)據(jù)庫高可用方案的設(shè)計與實現(xiàn)[D]. 徐濤.南京郵電大學(xué) 2016
[9]基于OpenStack的中小企業(yè)私有云構(gòu)建及高可用性研究[D]. 徐鵬.華東理工大學(xué) 2017
[10]基于OpenStack的虛擬機部署過程的研究與優(yōu)化[D]. 李璘.華北電力大學(xué)(北京) 2014



本文編號：3578405