發(fā)布時間：2021-06-17 16:51

　　隨著科技的進步,電子商務、社交網絡、新聞聚合、視頻監(jiān)控和衛(wèi)星遙感技術的蓬勃發(fā)展。每天都會產生海量的實時數(shù)據(jù),這些數(shù)據(jù)無論是形式還是規(guī)模都和傳統(tǒng)數(shù)據(jù)不一樣,傳統(tǒng)數(shù)據(jù)一般都是結構化的靜態(tài)數(shù)據(jù),并且規(guī)模較小,處理實時性要求不高。實時數(shù)據(jù)多以流式數(shù)據(jù)為主,流式數(shù)據(jù)具有數(shù)據(jù)規(guī)模龐大,數(shù)據(jù)流向和流速不確定、實時性、非結構化等特點。因此,專門處理流式數(shù)據(jù)為代表的分布式計算平臺應運而生。本論文提出來一種分布式流計算平臺,提供低時延、高吞吐的實時流分析服務。在拓撲圖中指定應用程序邏輯。本論文將圍繞分布式流計算平臺中的任務調度算法,容錯機制,消息處理機制方面進行研究。主要工作包括以下幾點:1)研究當下常見的流計算平臺（Storm、Spark Streaming、Flink等）主要研究其調度算法、容錯機制和消息機制。分析各個平臺的優(yōu)缺點。2)在任務調度方面,采用基于Qos約束的智能調度算法。在任務調度時,調度算法模塊統(tǒng)計計算節(jié)點資源使用率,并將資源使用率作為調度的約束條件,不同的資源使用具有不同的權重因子,采用模擬退火算法訓練權重因子,這樣在不同的運行環(huán)境,調度算法智能的調度任務,提高系統(tǒng)吞吐量,增強數(shù)據(jù)處... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：78 頁

【學位級別】：碩士

【部分圖文】：

主節(jié)點啟動

電子科技大學碩士學位論文58圖5-4備份節(jié)點啟動在192.168.1.88上輸入ctrl+c命令，主節(jié)點關閉，等待一段時間，看到備份節(jié)點所在物理機打印出如圖5-5圖5-5關閉主節(jié)點后備份節(jié)點打印信息看到備份節(jié)點打印出MasterNode::initMaster()判斷出備份節(jié)點變?yōu)橹鞴?jié)點。5.2.2計算節(jié)點測試計算節(jié)點測試策略是，啟動分布式流計算平臺后臺來提交wordCount任務，通過后臺界面來看計算節(jié)點的變化。操作步驟如下：1)首先啟動Zookeeper集群，進入zookeeper/bin目錄下執(zhí)行./zkServer.shstart。如圖5-6所示。圖5-6啟動zookeeper集群leader圖2)啟動控制節(jié)點和計算節(jié)點，在控制節(jié)點上執(zhí)行命令./mastercon.xml,計算節(jié)點執(zhí)行命令./supervisorsupervisor.conf3)通過客戶端發(fā)送任務，執(zhí)行命令./client192.168.1.88wordCount.xml，執(zhí)行完命令，會返回一個任務id如圖5-7所示：

第五章測試與分析59圖5-7客戶端提交任務后4)通過客戶端啟動任務9345，命令是./client192.168.1.88–start9345，手動啟動任務，master節(jié)點返回如圖5-8所示，下面用紅色框框住的部分是任務拓撲圖。圖5-8打印任務拓撲圖5.2.3消息可靠性功能測試消息功能測試策略：由于消息在計算單元中流動，在哪個計算單用中丟失具有隨機性。不太好測試出錯場景，因此本文統(tǒng)計所有tuple信息，統(tǒng)計發(fā)送的tuple信息，和在結果集中不同tuple的數(shù)量。為了簡化流程，采用鏈式拓撲圖，如圖5-9，發(fā)送數(shù)據(jù)流為不重復的連續(xù)整數(shù)數(shù)據(jù)流，最后統(tǒng)計不同數(shù)據(jù)總量是不是符合預期。

【參考文獻】：
期刊論文
[1]改進的基于加權最小連接數(shù)的負載均衡算法[J]. 高振斌,潘亞辰,華中,段小紅,趙丹.  科學技術與工程. 2016(06)
[2]基于Raft一致性協(xié)議的高可用性實現(xiàn)[J]. 張晨東,郭進偉,劉柏眾,儲佳佳,周敏奇,錢衛(wèi)寧.  華東師范大學學報(自然科學版). 2015(05)
[3]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關鍵技術[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發(fā)展. 2014(02)
[4]基于Redis的海量小文件分布式存儲方法研究[J]. 劉高軍,王帝澳.  計算機工程與科學. 2013(10)
[5]面向Web Service的動態(tài)負載均衡設計與實現(xiàn)[J]. 周順.  計算機工程與科學. 2010(12)
[6]模擬退火算法[J]. 魏延,謝開貴.  蒙自師范高等�？茖W校學報. 1999(04)
[7]基于ACTOR模型的并發(fā)面向對象語言AC++[J]. 董哲,劉琳,田籟聲.  軟件學報. 1997(03)

碩士論文
[1]GlusterFS的數(shù)據(jù)分布策略與性能優(yōu)化研究[D]. 何華.國防科學技術大學 2013
[2]雙機容錯熱備份系統(tǒng)研究與實現(xiàn)[D]. 田灼.哈爾濱理工大學 2003



本文編號：3235567