物聯(lián)網(wǎng)技術(shù)的快速發(fā)展使得流式數(shù)據(jù)呈現(xiàn)爆炸式地增長(zhǎng),各種應(yīng)用的實(shí)時(shí)性要求也越來(lái)越高,傳統(tǒng)的云計(jì)算模型已經(jīng)不能高效及時(shí)地處理當(dāng)前高速產(chǎn)生的海量流式數(shù)據(jù),在邊緣進(jìn)行流數(shù)據(jù)處理變得越來(lái)越迫切。然而,與資源豐富的云相比,邊緣集群的硬件基礎(chǔ)設(shè)施相對(duì)較差,計(jì)算能力有限,因而流數(shù)據(jù)處理的性能受到限制,不能滿足日益增長(zhǎng)的高實(shí)時(shí)性需求。現(xiàn)場(chǎng)可編程門陣列(FPGA)具有大規(guī)模并行計(jì)算能力和極低的功耗,并支持靈活的重配置,這為提升邊緣集群的計(jì)算能力從而實(shí)現(xiàn)更高效的流數(shù)據(jù)處理提供了一種新的途徑。因此,提出利用FPGA來(lái)加速部署在邊緣集群中的流處理系統(tǒng):通過(guò)在邊緣服務(wù)器上配置FPGA板卡,并實(shí)現(xiàn)邊緣集群中流數(shù)據(jù)處理系統(tǒng)與FPGA資源的集成,進(jìn)而在系統(tǒng)中利用FPGA來(lái)加速流計(jì)算任務(wù),從而提高流數(shù)據(jù)處理的性能。具體地,設(shè)計(jì)并實(shí)現(xiàn)了一種面向邊緣的基于FPGA加速的分布式流處理系統(tǒng)(F-Storm):為了減小系統(tǒng)的部署和運(yùn)行開銷,實(shí)現(xiàn)了一個(gè)輕量級(jí)的管理器來(lái)集成和管理FPGA資源;針對(duì)FPGA資源受限的場(chǎng)景,設(shè)計(jì)了一種自適應(yīng)的加速器優(yōu)先的任務(wù)調(diào)度策略,在充分利用FPGA資源的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)從FPGA到CPU的反向卸載;同時(shí),優(yōu)化了系統(tǒng)中的JVM-FPGA數(shù)據(jù)傳輸機(jī)制,采用批量傳輸和流水線技術(shù)來(lái)減輕數(shù)據(jù)在JVM和FPGA之間傳輸?shù)臅r(shí)間開銷,從而降低數(shù)據(jù)處理延遲。此外,針對(duì)FPGA的使用使得流應(yīng)用程序開發(fā)復(fù)雜化的問(wèn)題,該系統(tǒng)提供了簡(jiǎn)單易用的編程接口,大大減輕了用戶開發(fā)流應(yīng)用程序的負(fù)擔(dān)。本系統(tǒng)的實(shí)現(xiàn)是基于Storm,實(shí)驗(yàn)表明,相對(duì)于原有系統(tǒng)Storm,F-Storm將平均處理延時(shí)降低了36%-75%,獲得了1.4x-3.2x的吞吐量提升,并且還大大降低了計(jì)算的關(guān)鍵線程的CPU利用率,提升了流數(shù)據(jù)應(yīng)用的執(zhí)行性能。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TN791;TP311.13
【部分圖文】：

華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文礎(chǔ)架構(gòu)可以被建模為 3 層的資源層次結(jié)構(gòu)，如圖 1.1 所示。第一層是邊如智能手機(jī)和傳感器等各種物聯(lián)網(wǎng)設(shè)備組成， 第二層是邊緣計(jì)算層，近數(shù)據(jù)源（邊緣設(shè)備）的小型數(shù)據(jù)中心或者包含了少量邊緣服務(wù)器的三層是云計(jì)算層，它擁有豐富的集中的計(jì)算資源[2]。目前邊緣計(jì)算中的以分為兩類：第一類是基于邊緣的流數(shù)據(jù)處理，僅僅依靠邊緣環(huán)境的計(jì)設(shè)備、邊緣集群等）來(lái)進(jìn)行數(shù)據(jù)處理，沒(méi)有云中心的參與。第二類是基流數(shù)據(jù)處理，結(jié)合邊緣和云中心的基礎(chǔ)設(shè)施來(lái)協(xié)同進(jìn)行混合流數(shù)據(jù)處

章主要描述基于 FPGA 加速的面向邊緣集群的分布式流處理系統(tǒng) F-S首先對(duì) Storm 系統(tǒng)進(jìn)行一個(gè)簡(jiǎn)單的介紹，然后概述 F-Storm 的設(shè)計(jì)思路，接著描述系統(tǒng)的運(yùn)行時(shí)架構(gòu)和關(guān)鍵組件，最后簡(jiǎn)單介紹該系統(tǒng)的工作程。TORM 概述torm 系統(tǒng)是一個(gè)典型的分布式流處理系統(tǒng)，用于實(shí)時(shí)處理無(wú)界和連續(xù) 的架構(gòu)采用 master-worker（主節(jié)點(diǎn)-工作節(jié)點(diǎn)）架構(gòu)模式，如圖 2.1 所示 集群包含一個(gè)主節(jié)點(diǎn)和一個(gè)或多個(gè)工作節(jié)點(diǎn)，Zookeeper 集群是它們之這里為了簡(jiǎn)便省略了）。主節(jié)點(diǎn)運(yùn)行名為 nimbus 的 JVM 守護(hù)進(jìn)程，負(fù)交的作業(yè)并進(jìn)行處理，任務(wù)調(diào)度和集群監(jiān)控。每個(gè)工作節(jié)點(diǎn)運(yùn)行一isor 的 JVM 守護(hù)進(jìn)程，該進(jìn)程負(fù)責(zé)接收 nimbus 分配的任務(wù)，并啟動(dòng)工它們。每個(gè) supervisor 可以啟動(dòng)多個(gè)工作進(jìn)程，每個(gè)工作進(jìn)程實(shí)際上擬機(jī)（JVM），它執(zhí)行分配給該節(jié)點(diǎn)的所有任務(wù)的一個(gè)子集。

圖 2.2 Storm 應(yīng)用程序拓?fù)銯-Storm 之所以選擇在 Storm 上實(shí)現(xiàn)，一方面是 Storm 作為一個(gè)典型的原生流處理系統(tǒng)，在學(xué)術(shù)界以及工業(yè)界都得到了廣泛的應(yīng)用，很多研究工作都是基于它來(lái)做的。另一方面，Storm 在低延遲處理方面表現(xiàn)非常優(yōu)異，這非常適合邊緣計(jì)算環(huán)境下多樣的實(shí)時(shí)物聯(lián)網(wǎng)應(yīng)用。2.2 系統(tǒng)設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)針對(duì)資源受限的邊緣環(huán)境，在 Storm 的基礎(chǔ)之上，引入并集成了 FPGA，設(shè)計(jì)了F-Storm，這是一個(gè)基于 FPGA 加速的、面向邊緣的通用的分布式流處理系統(tǒng)，旨在將 FPGA 用于加速邊緣環(huán)境下的流處理，為邊緣場(chǎng)景下的流應(yīng)用程序提供更高的性能，同時(shí)方便用戶的應(yīng)用程序開發(fā)。針對(duì)研究中的某些挑戰(zhàn)或者關(guān)鍵問(wèn)題，并結(jié)合系統(tǒng)的設(shè)計(jì)思路，總結(jié)了 F-Storm的設(shè)計(jì)目標(biāo)如下：1. 實(shí)現(xiàn)輕量級(jí)的基于 PCIe 連接的 FPGA 的集成。
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項(xiàng)挖掘的降載策略[J];計(jì)算機(jī)應(yīng)用研究;2011年04期

2 李子杰;鄭誠(chéng);;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲(chǔ)及管理方法比較研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年04期

3 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國(guó)管理信息化;2009年21期

4 劉宇雷;秦小麟;儲(chǔ)網(wǎng)林;黃瑛;;流數(shù)據(jù)復(fù)雜聚類查詢處理算法[J];南京航空航天大學(xué)學(xué)報(bào);2009年06期

5 馮衛(wèi)兵;李戰(zhàn)懷;;流數(shù)據(jù)的連續(xù)查詢優(yōu)化技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;2008年01期

6 劉學(xué)平;;利用點(diǎn)擊流數(shù)據(jù)提供個(gè)性化信息服務(wù)的模式研究[J];安徽農(nóng)業(yè)科學(xué);2008年02期

7 劉佳;張芳;劉國(guó)華;劉琳;;基于流數(shù)據(jù)技術(shù)的信息監(jiān)測(cè)系統(tǒng)的研究與設(shè)計(jì)[J];計(jì)算機(jī)工程;2007年05期

8 李衛(wèi)民;于守健;駱軼姝;樂(lè)嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2007年06期

9 饒洋輝;張大斌;;基于點(diǎn)擊流數(shù)據(jù)的電子商務(wù)企業(yè)客戶識(shí)別研究[J];管理科學(xué);2006年04期

10 聶國(guó)梁;盧正鼎;;流數(shù)據(jù)密度估計(jì)[J];計(jì)算機(jī)科學(xué);2006年12期

相關(guān)博士學(xué)位論文 前10條

1 劉圓圓;面向大規(guī)模流數(shù)據(jù)處理的近似計(jì)算及質(zhì)量保證策略研究[D];吉林大學(xué);2019年

2 莊園;分布式流數(shù)據(jù)處理系統(tǒng)容錯(cuò)問(wèn)題研究[D];吉林大學(xué);2019年

3 朱睿;數(shù)據(jù)流環(huán)境下Top-k查詢處理技術(shù)[D];東北大學(xué);2016年

4 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

5 聶國(guó)梁;流數(shù)據(jù)統(tǒng)計(jì)算法研究[D];華中科技大學(xué);2006年

6 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

7 丁智國(guó);流數(shù)據(jù)在線異常檢測(cè)方法研究[D];上海大學(xué);2015年

8 于程程;面向評(píng)測(cè)基準(zhǔn)的社交流數(shù)據(jù)生成[D];華東師范大學(xué);2016年

9 楊定裕;實(shí)時(shí)流數(shù)據(jù)分析的關(guān)鍵技術(shù)及應(yīng)用[D];上海交通大學(xué);2015年

10 屠莉;流數(shù)據(jù)的頻繁項(xiàng)挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 胡蝶;面向邊緣的基于FPGA加速的分布式流處理系統(tǒng)[D];華中科技大學(xué);2019年

2 張雪巖;基于流數(shù)據(jù)的離散域路徑規(guī)劃研究[D];電子科技大學(xué);2019年

3 裴樂(lè);面向流數(shù)據(jù)的多任務(wù)多核在線學(xué)習(xí)算法研究[D];重慶郵電大學(xué);2018年

4 邱鈺珂;兩類流數(shù)據(jù)的在線檢驗(yàn)[D];四川師范大學(xué);2019年

5 劉志敏;流數(shù)據(jù)的復(fù)雜變化的監(jiān)控模型及應(yīng)用[D];中國(guó)民航大學(xué);2019年

6 田藍(lán);流數(shù)據(jù)實(shí)時(shí)在線演化聚類算法研究[D];武漢理工大學(xué);2018年

7 孔雪;基于流數(shù)據(jù)視角的股票聚類[D];山東財(cái)經(jīng)大學(xué);2018年

8 董帥;基于Storm的流數(shù)據(jù)分類算法的研究與實(shí)現(xiàn)[D];齊魯工業(yè)大學(xué);2019年

9 藕雪婷;基于溯源數(shù)據(jù)與流數(shù)據(jù)的IP屬性分析[D];哈爾濱工業(yè)大學(xué);2018年

10 糜俊;基于流數(shù)據(jù)的負(fù)載降維模型[D];南京郵電大學(xué);2018年

本文編號(hào)：2875364