本文關鍵詞：云環(huán)境下支持彈性伸縮的流計算研究與實現，，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,隨著互聯網的發(fā)展,數據越來越多,其新增速率也快來越快,為了應對這個問題,越來越多的流計算系統被推出。它接受數據的實時輸入,然后以比較低的延遲處理數據并輸出,在金融、互聯網等對實時性要求比較高的領域得到了廣泛的應用。雖然流計算系統能夠以近乎實時的效率處理大量數據,但它卻忽視了大數據的另一個重要特征——變化大,該特征包含很多方面的含義,其中本論文關注的重點是速率的變化大。速率變化大造成的后果就是流計算系統的負載時高時低,甚至會在速率超出預期太多的情況下,造成系統的崩潰。為了解決上述問題,我們想到讓流計算系統具有彈性伸縮的能力。不過傳統的彈性計算大都是站在云的角度來考慮問題的,在他們的假設中,運行在云上的系統都是分布式的,且都可以很容易地被擴展。在Web服務器領域,這個假設可以認為是成立的,然而大部分情況下,它并不是完全正確的,特別是在分布式系統中,機器的伸縮會涉及到很多問題。當然也有一些研究是針對具體的流計算系統的,但他們大多只會根據系統的狀態(tài)而不考慮集群的狀態(tài)來決定是否伸縮系統,此外,這些研究也沒有涉及到完整的伸縮以及調度過程,只關注于其中的一部分,如伸縮算法,可伸縮框架等。針對這些問題,本文提出了一個基于云的可彈性伸縮的流計算解決方案,并基于Storm實現了一個彈性流計算系統RubberStream。它通過對系統的實時監(jiān)控,能夠迅速發(fā)現各組件的負載異常,并及時對它們的并行度進行適當調整,同時它還能夠結合集群中的服務器狀態(tài),自動對集群的規(guī)模進行伸縮。在伸縮時,RubberStream可以根據云服務提供商的價格自動選擇水平伸縮或垂直伸縮。此外,RubberStream還支持不同配置機器間的負載均衡調度,以解決垂直伸縮帶來的機器異構性問題。在文章的最后,本論文在真實的商用云平臺阿里云上對RubberStream的功能以及性能進行了驗證。實驗結果表明,RubberStream不僅能夠在適當時候正確地調整組件的并行度以及集群規(guī)模,而且能夠在有效地減少資源消耗的前提下,提供與靜態(tài)大規(guī)模Storm集群相當的性能,從而有效解決了速率波動帶來的問題。
【關鍵詞】：流計算 彈性 自適應 云計算
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.09
【目錄】：

• 摘要3-5
• ABSTRACT5-12
• 第一章 緒論12-18
• 1.1 研究背景與意義12-13
• 1.2 國內外研究現狀13-15
• 1.3 研究目標15
• 1.4 主要內容15-16
• 1.5 論文組織結構16
• 1.6 本章小結16-18
• 第二章 相關技術研究18-28
• 2.1 大數據處理方案18-19
• 2.2 流計算19-24
• 2.2.1 數據流模型20-21
• 2.2.2 流處理系統21-24
• 2.3 云計算24-26
• 2.4 本章小結26-28
• 第三章 問題分析與定義28-34
• 3.1 大數據的新特征28-30
• 3.2 彈性計算比較30-31
• 3.3 存在的問題分析31
• 3.4 本章小結31-34
• 第四章 Rubber Stream架構設計34-40
• 4.1 系統架構34-36
• 4.2 系統設計36-38
• 4.3 Rubber Stream工作流程38-39
• 4.4 本章小結39-40
• 第五章 Rubber Stream設計與實現40-54
• 5.1 負載監(jiān)控40-42
• 5.2 伸縮管理42-47
• 5.2.1 基礎伸縮42-44
• 5.2.2 進階伸縮44-47
• 5.3 任務調度47-52
• 5.4 本章小結52-54
• 第六章 實驗驗證54-68
• 6.1 實驗描述54-56
• 6.1.1 實驗設計54
• 6.1.2 數據準備54-55
• 6.1.3 實驗實現55-56
• 6.2 實驗環(huán)境56-59
• 6.2.1 環(huán)境介紹56
• 6.2.2 環(huán)境設置56-59
• 6.3 實驗過程59-67
• 6.3.1 功能測試59-62
• 6.3.2 性能測試62-67
• 6.4 本章小結67-68
• 第七章 總結與展望68-70
• 7.1 全文總結68-69
• 7.2 工作展望69-70
• 參考文獻70-74
• 致謝74-76
• 攻讀學位期間發(fā)表的學術論文目錄76-79
• 附件79

【相似文獻】

中國期刊全文數據庫 前10條

1 賈宏波,吳海明,楊慶華,吳峻嶺;企業(yè)級工程計算系統的建立與應用[J];計算機輔助設計與制造;2001年10期

2 王振東;王慧強;馮光升;呂宏武;陳曉明;;自律計算系統及其關鍵技術研究[J];計算機科學;2013年07期

3 Robert J.Douglass ,漆平生;新一代計算系統的應用前景[J];系統工程與電子技術;1984年04期

4 姚敏，田賢忠;廣義計算系統研究[J];計算機工程與應用;1999年01期

5 桂小林;錢德沛;;元計算系統的研究現狀與趨勢[J];計算機科學;2001年12期

6 孟麗艷,姚力,裴留慶;試論計算系統的能力與性能[J];系統工程與電子技術;2002年08期

7 謝立;;走向日用化的分布式計算系統[J];計算機工程與應用;1990年Z1期

8 陳丹;;首個毫米級計算系統問世[J];成才之路;2011年10期

9 桂小林,錢德沛,董渭清,董小社;校園級元計算系統的一種多級對象命名方法研究[J];西安交通大學學報;2001年12期

10 何凱,楊愚魯;全球計算系統及其關鍵技術的研究[J];計算機工程與應用;2005年17期

中國重要會議論文全文數據庫 前8條

1 孟麗艷;姚力;裴留慶;;自然產生的計算系統的啟示[A];中國電子學會第七屆學術年會論文集[C];2001年

2 藺增春;;省外新建礦井工資計算系統開發(fā)與應用[A];山東煤炭學會工業(yè)信息化專業(yè)委員會2011年度工作會議暨物聯網技術推進煤礦信息化學術論壇學術論文集[C];2011年

3 馮華;盧凱;劉勇鵬;;高性能計算系統中的服務質量研究[A];第八屆全國信息隱藏與多媒體安全學術大會湖南省計算機學會第十一屆學術年會論文集[C];2009年

4 游md毅;黃其泮;徐玟瑜;李坤聰;;研制多重FPGA可動態(tài)重組計算系統的線上軟件模塊配置法[A];2005年海峽兩岸三地無線科技學術會論文集[C];2005年

5 盧宇彤;楊學軍;;面向分布對象存儲結構的高性能計算系統資源管理方法[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

6 張靖;李春文;吳熱冰;;基于Markov模型的多比特量子計算系統相干控制建模[A];第二十三屆中國控制會議論文集（上冊）[C];2004年

7 鄒俊;;調質鋼工藝數值模擬計算系統的開發(fā)及應用[A];第七屆(2009)中國鋼鐵年會大會論文集(中)[C];2009年

8 劉紹璋;馮明琴;;重力壩基礎應力分析微機計算系統[A];第七屆全國結構工程學術會議論文集（第Ⅰ卷）[C];1998年

中國重要報紙全文數據庫 前10條

1 ;業(yè)界首款統一計算系統面世 全面釋放虛擬化的強大力量[N];人民郵電;2009年

2 朱慧;三部有了高性能計算系統[N];中國航天報;2006年

3 ;知名高校談HPC構建經驗[N];網絡世界;2010年

4 楊廣文;元計算技術研究[N];計算機世界;2001年

5 荊晶;最小計算機在美問世[N];經濟參考報;2011年

6 本報通訊員 王典麗;全面釋放虛擬化強大力量[N];人民鐵道;2009年

7 ;企業(yè)云計算如何保障安全[N];人民郵電;2012年

8 《網絡世界》記者 周源;四點著力 奔赴下一代x86計算系統[N];網絡世界;2012年

9 清華大學計算機系 都志輝 黃震春;千里之行始于足下[N];計算機世界;2001年

10 李大慶;首套分布式GPU超級計算系統啟用[N];中國技術市場報;2010年

中國博士學位論文全文數據庫 前4條

1 車建華;虛擬計算系統性能與可用性評測方法研究[D];浙江大學;2010年

2 王峰;部分重構計算系統的關鍵技術研究[D];中國科學技術大學;2007年

3 葉建偉;云計算系統中作業(yè)安全技術研究[D];哈爾濱工業(yè)大學;2011年

4 廖備水;基于PDC-Agent的面向服務的自治計算研究[D];浙江大學;2006年

中國碩士學位論文全文數據庫 前10條

1 邊爽;云計算系統資源彈性調度的評測方法研究[D];哈爾濱工業(yè)大學;2015年

2 朱漢峰;云環(huán)境下支持彈性伸縮的流計算研究與實現[D];上海交通大學;2015年

3 葛寶磊;自治計算系統研究[D];大連理工大學;2009年

4 韓佳龍媚;專用計算系統用戶界面的設計與實現[D];華南理工大學;2014年

5 于麗媛;概念粒計算系統之間的關系與性質[D];煙臺大學;2013年

6 梁慰庭;兩類解決基于光網絡的分布式計算系統的項目調度問題的混合遺傳算法[D];上海交通大學;2011年

7 董長娥;實用的公路規(guī)范查詢與公式計算系統的設計與實現[D];中國海洋大學;2005年

8 張緒炎;600MW火電機組在線性能計算系統的開發(fā)[D];上海發(fā)電設備成套設計研究所;2006年

9 李承浩;風險評估計算系統的研究與設計[D];華東師范大學;2009年

10 唐金成;基于Smart Client高速鐵路接觸網計算系統的研究[D];西南交通大學;2006年

  本文關鍵詞：云環(huán)境下支持彈性伸縮的流計算研究與實現，由筆耕文化傳播整理發(fā)布。

本文編號：335699