隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展,金融銀行業(yè)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等與人們生活聯(lián)系緊密的行業(yè)領(lǐng)域發(fā)生了翻天地覆的變化。數(shù)據(jù)規(guī)模迅速擴(kuò)大,數(shù)據(jù)計(jì)算具有規(guī)模性和實(shí)時(shí)性。在實(shí)時(shí)計(jì)算場(chǎng)景下,Flink流計(jì)算框架提供了豐富的算子支持和較好的容錯(cuò)機(jī)制,且在資源調(diào)度方面做了許多優(yōu)化,能夠?qū)Υ罅髁康臄?shù)據(jù)進(jìn)行實(shí)時(shí)處理。然而,當(dāng)面臨實(shí)時(shí)數(shù)據(jù)流突增的時(shí)候,Flink不能根據(jù)當(dāng)前的數(shù)據(jù)流量進(jìn)行動(dòng)態(tài)資源調(diào)整,從而會(huì)導(dǎo)致計(jì)算出現(xiàn)瓶頸,無(wú)法保證計(jì)算結(jié)果的實(shí)時(shí)性。本文針對(duì)Flink框架在數(shù)據(jù)量突增時(shí)會(huì)出現(xiàn)性能瓶頸的問(wèn)題設(shè)計(jì)了一套基于Flink框架的資源調(diào)度管理系統(tǒng),對(duì)作業(yè)的運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)控,及時(shí)發(fā)現(xiàn)性能瓶頸進(jìn)行資源調(diào)整,保證數(shù)據(jù)計(jì)算的實(shí)時(shí)性。該系統(tǒng)主要包括Flink作業(yè)監(jiān)控子系統(tǒng)以及算子資源調(diào)度優(yōu)化子系統(tǒng)。Flink作業(yè)監(jiān)控子系統(tǒng)主要用來(lái)實(shí)時(shí)跟蹤作業(yè)上各算子的數(shù)據(jù)輸入、輸出、作業(yè)運(yùn)行過(guò)程中網(wǎng)絡(luò)緩存使用情況,以及記錄算子拓?fù)潢P(guān)系,為判斷算子計(jì)算瓶頸提供直接依據(jù)。算子資源調(diào)度優(yōu)化子系統(tǒng)是根據(jù)收集的監(jiān)控?cái)?shù)據(jù),以及對(duì)作業(yè)算子的有向無(wú)環(huán)的拓?fù)浣Y(jié)構(gòu)進(jìn)行廣度優(yōu)先搜索,根據(jù)Flink作業(yè)的反壓機(jī)制找出性能瓶頸的算子,并對(duì)出現(xiàn)性能瓶頸的算子進(jìn)行... 

【文章來(lái)源】：沈陽(yáng)工業(yè)大學(xué)遼寧省

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Task在TaskManager的Slot中分布

第2章Flink框架相關(guān)技術(shù)9圖2.2線程優(yōu)化過(guò)程Fig.2.2Threadoptimizationprocess2.3反壓機(jī)制Flink運(yùn)行時(shí)候的構(gòu)造部件是streams（數(shù)據(jù)流）和operators（算子）。operators對(duì)流streams進(jìn)行處理，產(chǎn)生一個(gè)新的流。當(dāng)一個(gè)operator接收到的streams的速率高于它在一個(gè)瞬時(shí)脈沖內(nèi)處理的數(shù)據(jù)流，就會(huì)產(chǎn)生反壓[33]。Flink系統(tǒng)自身處理反壓的機(jī)制，類(lèi)似于生產(chǎn)者與消費(fèi)者的阻塞隊(duì)列，一旦接收者接收的數(shù)據(jù)流量大于它所能處理的最大值，這個(gè)較慢的接收者就會(huì)拖慢發(fā)送者。反壓的過(guò)程可以類(lèi)比抽水的過(guò)程，抽水機(jī)反壓類(lèi)比圖如圖2.3所示。上游的水龍頭類(lèi)比Flink里的Source，封閉木桶類(lèi)比于ResultPartition，封閉木桶的1號(hào)和2號(hào)類(lèi)比于ResultSubPartition，管道1號(hào)和2號(hào)類(lèi)比于channel，抽水機(jī)1號(hào)和2號(hào)類(lèi)比于inputGates，下游的水龍頭類(lèi)比于下游算子。把水流類(lèi)比于數(shù)據(jù)流，水流正酣，如果下游的兩個(gè)水龍頭都關(guān)閉，這兩個(gè)抽水機(jī)最先被填滿(mǎn)，由于抽水機(jī)只進(jìn)水不出水，抽水機(jī)滿(mǎn)了之后封閉木桶就不再出水了，直到封閉木桶也滿(mǎn)了，上游的水龍頭就不再放水了。所以類(lèi)似的，下游算子消耗數(shù)據(jù)流比上游算子產(chǎn)生的慢時(shí)，inputGates的緩沖區(qū)就會(huì)慢慢被填滿(mǎn)，然后

沈陽(yáng)工業(yè)大學(xué)碩士學(xué)位論文10ResultSubPartition的緩沖區(qū)也滿(mǎn)了，最后形成反壓，于是上游算子產(chǎn)生數(shù)據(jù)的速度減慢，從而達(dá)到平衡狀態(tài)。圖2.3抽水機(jī)反壓類(lèi)比圖Fig.2.3PumpbackpressureclassdiagramFlink將反壓狀態(tài)分為三個(gè)級(jí)別，分別為OK、LOW、HIGH級(jí)別，其中OK對(duì)應(yīng)的反壓比例為大于0小于10%，LOW對(duì)應(yīng)的反壓比例大于10%小于50%，HIGH對(duì)應(yīng)的反壓比例大于50%小于100%。這個(gè)反壓比例也是算子輸入輸出端的buffer使用率，向緩沖池申請(qǐng)內(nèi)存塊的過(guò)程詳見(jiàn)2.4節(jié)。圖2.4是HeapOptimize作業(yè)運(yùn)行時(shí)的拓?fù)鋱D以及各個(gè)算子的反壓狀態(tài)，如圖所示，通過(guò)Flink反壓機(jī)制，前兩個(gè)算子Source和FlatMap的反壓狀態(tài)級(jí)別都是HIGH,其余的算子反壓級(jí)別狀態(tài)都是OK。圖2.4Flink作業(yè)的算子狀態(tài)Fig.2.4OperatorstateofFlinkjob對(duì)Task進(jìn)行采樣檢測(cè)，有一些Subtasks狀態(tài)顯示HIGH，表示系統(tǒng)觸發(fā)了反壓，需要適當(dāng)增加Subtask并行度或者降低數(shù)據(jù)生產(chǎn)速度，否則經(jīng)過(guò)長(zhǎng)時(shí)間的運(yùn)行后，系統(tǒng)中處理的數(shù)據(jù)將會(huì)出現(xiàn)超時(shí)現(xiàn)象,在有些情況下數(shù)據(jù)不能及時(shí)處理，會(huì)造成嚴(yán)重的后果。

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)對(duì)企業(yè)內(nèi)部控制信息安全影響研究[J]. 楊毓,陳園.  中外企業(yè)家. 2020(06)
[2]基于大數(shù)據(jù)背景下的銀行智能風(fēng)控體系建設(shè)[J]. 梅崇秀.  中外企業(yè)家. 2020(06)
[3]Flink和Spark Streaming流式計(jì)算模型比較分析[J]. 宋靈城.  通信技術(shù). 2020(01)
[4]大數(shù)據(jù)技術(shù)在智慧交通中的應(yīng)用新模式[J]. 曹宇鵬,李剛.  青海交通科技. 2019(06)
[5]大數(shù)據(jù)應(yīng)用現(xiàn)狀與發(fā)展趨勢(shì)的思考[J]. 喬愛(ài)鋒.  電信快報(bào). 2019(11)
[6]一種基于流數(shù)據(jù)處理的預(yù)警系統(tǒng)設(shè)計(jì)[J]. 王性國(guó),郝文靜,董建,謝康,杜佳穎.  電腦知識(shí)與技術(shù). 2019(30)
[7]基于流網(wǎng)絡(luò)的Flink平臺(tái)彈性資源調(diào)度策略[J]. 李梓楊,于炯,卞琛,張譯天,蒲勇霖,王躍飛,魯亮.  通信學(xué)報(bào). 2019(08)
[8]一種基于集成的不均衡數(shù)據(jù)流分類(lèi)算法[J]. 袁泉,郭江帆,趙學(xué)華.  計(jì)算機(jī)工程與科學(xué). 2019(08)
[9]Spark和Flink的計(jì)算模型對(duì)比研究[J]. 譚勇.  計(jì)算機(jī)產(chǎn)品與流通. 2019(04)
[10]基于新一代大數(shù)據(jù)處理引擎Flink的“智慧滁河”系統(tǒng)[J]. 葉楓,張鵬,夏潤(rùn)亮,顧和生,陳勇.  水資源保護(hù). 2019(02)

碩士論文
[1]面向FLINK流處理框架的容錯(cuò)策略?xún)?yōu)化研究[D]. 慶驍.哈爾濱工業(yè)大學(xué) 2019
[2]基于數(shù)據(jù)流的風(fēng)機(jī)故障實(shí)時(shí)監(jiān)測(cè)系統(tǒng)開(kāi)發(fā)研究[D]. 涂振宇.山東大學(xué) 2019
[3]大數(shù)據(jù)平臺(tái)加速處理技術(shù)的研究與實(shí)現(xiàn)[D]. 徐劉根.電子科技大學(xué) 2019
[4]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測(cè)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李若鵬.華南理工大學(xué) 2018
[5]基于Flink的實(shí)時(shí)軌跡運(yùn)動(dòng)模式檢測(cè)[D]. 麥冠華.浙江大學(xué) 2018
[6]大數(shù)據(jù)流式處理系統(tǒng)負(fù)載均衡與容錯(cuò)機(jī)制的研究[D]. 段澤源.華北電力大學(xué) 2017
[7]基于Kafka的大規(guī)模流數(shù)據(jù)分布式緩存與分析平臺(tái)[D]. 牛牧.吉林大學(xué) 2016
[8]流式計(jì)算模式的性能研究與優(yōu)化[D]. 王蒙.北京郵電大學(xué) 2017



本文編號(hào)：3010253