發(fā)布時(shí)間：2020-02-07 11:24

【摘要】：當(dāng)前,大數(shù)據(jù)的管理和處理是云基礎(chǔ)設(shè)施的重點(diǎn)用武之地,而服務(wù)是落實(shí)云計(jì)算環(huán)境中各類資源及能力交付和使用模式的主要方式.隨著感知設(shè)備的普及,系統(tǒng)規(guī)模急劇擴(kuò)張,數(shù)據(jù)多元異構(gòu)復(fù)雜性提升,流數(shù)據(jù)并發(fā)數(shù)量及速度劇增,傳統(tǒng)的流數(shù)據(jù)系統(tǒng)在處理能力、可擴(kuò)展性、容錯(cuò)性等方面面臨瓶頸問(wèn)題,而云計(jì)算技術(shù)依靠其良好的可伸縮性、數(shù)據(jù)的并行化處理能力、對(duì)服務(wù)使用模式的支持、容錯(cuò)性等特點(diǎn),可作為流數(shù)據(jù)管理與處理的基礎(chǔ).基于云計(jì)算對(duì)來(lái)自不同類型設(shè)備的大規(guī)模流數(shù)據(jù)進(jìn)行集成、處理及服務(wù)化正是文中關(guān)注的焦點(diǎn)所在.從應(yīng)用需求出發(fā),該文對(duì)大規(guī)模流數(shù)據(jù)集成和實(shí)時(shí)處理及服務(wù)的概念框架、集成方法、流數(shù)據(jù)查詢處理、定制化服務(wù)、可伸縮性保障和可靠性保障以及相關(guān)評(píng)測(cè)基準(zhǔn)等要點(diǎn)進(jìn)行了剖析,歸納了大規(guī)模流數(shù)據(jù)的集成與服務(wù)研究面臨的挑戰(zhàn),探討了云計(jì)算環(huán)境下求解相關(guān)問(wèn)題的思路.
【圖文】：

據(jù)處理引擎以及傳統(tǒng)數(shù)據(jù)庫(kù)，對(duì)外提供基于結(jié)構(gòu)化查詢語(yǔ)言的聲明式查詢接口和共用的ＡＰＩ．ＭａｘＳｔｒｅａｍ的實(shí)現(xiàn)原理如圖３所示，在客戶端和關(guān)系數(shù)據(jù)庫(kù)、流處理引擎之間增加了聯(lián)邦層，聯(lián)邦層對(duì)流數(shù)據(jù)連續(xù)查詢請(qǐng)求進(jìn)行解析、查詢結(jié)果進(jìn)行轉(zhuǎn)換，數(shù)據(jù)代理則負(fù)責(zé)所有控制消息的交換以及數(shù)據(jù)的轉(zhuǎn)發(fā)．ＭａｘＳｔｒｅａｍ可適用于跨組織和地域的分布式計(jì)算環(huán)境中，但在云計(jì)算環(huán)境下，如何針對(duì)動(dòng)態(tài)變化的負(fù)載，對(duì)跨流處理引擎和傳統(tǒng)數(shù)據(jù)庫(kù)的連續(xù)查詢進(jìn)行功能及非功能屬性方面的優(yōu)化，還有待進(jìn)一步的研究．圖３ＭａｘＳｔｒｅａｍ：流處理引擎與傳統(tǒng)數(shù)據(jù)庫(kù)的集成［２３］３．２基于云計(jì)算的流數(shù)據(jù)查詢操作流數(shù)據(jù)查詢操作是實(shí)現(xiàn)定制化服務(wù)的基礎(chǔ)，其相關(guān)工作可以分為兩個(gè)方面．一方面是單個(gè)查詢操作的實(shí)現(xiàn)及優(yōu)化，例如連接查詢、聚集查詢等操作的實(shí)現(xiàn)及優(yōu)化；另一方面是互相連接的多個(gè)流數(shù)據(jù)操作算子的執(zhí)行及優(yōu)化．針對(duì)包含多個(gè)流數(shù)據(jù)操作算子的優(yōu)化方法，文獻(xiàn)［２４］進(jìn)行了總結(jié)，如算子重新排序、算子去重等優(yōu)化方法，本文不進(jìn)行贅述．與傳統(tǒng)數(shù)據(jù)庫(kù)一樣，流數(shù)據(jù)的基本查詢操作也可分為選擇、投影、連接（ｊｏｉｎ）和聚集（ａｇｇｒｅｇａｔｉｏｎ）等操作．其中，選擇和投影操作相對(duì)簡(jiǎn)單，而連接操作和聚集操作是兩種較復(fù)雜、耗時(shí)的查詢操作．在傳統(tǒng)數(shù)據(jù)庫(kù)研１１２計(jì)算機(jī)學(xué)報(bào)２０１７年

ｉｎｇ［５０］、ＳＥＥＰ［５９］、ＣｈｒｏｎｏＳｔｒｅａｍ［６０］、Ｓａｍｚａ⑤以及ＴｉｍｅＳｔｒｅａｍ［６１］等都建立在可動(dòng)態(tài)管理和擴(kuò)展節(jié)點(diǎn)的云基礎(chǔ)設(shè)施之上．算子放置技術(shù)與數(shù)據(jù)并行化處理技術(shù)是保障基于云計(jì)算的流數(shù)據(jù)服務(wù)可伸縮性的關(guān)鍵技術(shù)，其中，數(shù)據(jù)并行化被認(rèn)為是基于云計(jì)算的流數(shù)據(jù)處理系統(tǒng)的主要特征［１３］．下面結(jié)合學(xué)術(shù)界及工業(yè)界的實(shí)際系統(tǒng)及研究對(duì)其進(jìn)行分析．流數(shù)據(jù)處理ＤＡＧ中的邏輯算子可能根據(jù)其資源的需求情況部署在多個(gè)節(jié)點(diǎn)上，圖５是一個(gè)云計(jì)算環(huán)境下處理任務(wù)（算子）的部署示意圖，其中一個(gè)虛擬節(jié)點(diǎn)上可注冊(cè)多個(gè)資源容器，一個(gè)邏輯算子可部署到多個(gè)資源容器中．圖中虛線框中的邏輯算子ｖ６部署在多個(gè)虛擬機(jī)節(jié)點(diǎn)ｎ１和ｎ２中．針對(duì)由多個(gè)處理任務(wù)（算子）組成的流數(shù)據(jù)處理網(wǎng)絡(luò)，在云計(jì)算環(huán)境下，隨著計(jì)算節(jié)點(diǎn)的增加，主要通過(guò)在多個(gè)節(jié)點(diǎn)上平衡算子的分布來(lái)提供伸縮性，其關(guān)鍵問(wèn)題是如何進(jìn)行算子的放置（或布局），以及如何在不同的節(jié)點(diǎn)上進(jìn)行負(fù)載均衡．這就是“算子放置（ｏｐｅｒａｔｏｒｐｌａｃｅｍｅｎｔ）”問(wèn)題．算子放置問(wèn)題是指將處理任務(wù)的一系列算子布局在一系列的節(jié)點(diǎn)上執(zhí)行，并在滿足一定約束條件的情況下達(dá)到優(yōu)化目標(biāo)．圖５云計(jì)算環(huán)境中算子的部署［６０］Ｌａｋｓｈｍａｎａｎ等人［６２］將現(xiàn)有的算子放置算法從體系結(jié)構(gòu)、算法結(jié)構(gòu)、優(yōu)化目標(biāo)、算子層次上的操作、動(dòng)態(tài)重配置等５個(gè)維度進(jìn)行了分析和比較．在體系結(jié)構(gòu)上，分為主從式、分散式以及二者混合等情況，，當(dāng)前，大多數(shù)云環(huán)境下的流數(shù)據(jù)處理系統(tǒng)或中間件１１６計(jì)算機(jī)學(xué)報(bào)２０１

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 金澈清,錢衛(wèi)寧,周傲英;流數(shù)據(jù)分析與管理綜述[J];軟件學(xué)報(bào);2004年08期

2 聶國(guó)梁;盧正鼎;;流數(shù)據(jù)實(shí)時(shí)近似求和的算法研究[J];小型微型計(jì)算機(jī)系統(tǒng);2005年10期

3 李衛(wèi)民;于守健;駱軼姝;樂(lè)嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2007年06期

4 李子杰;鄭誠(chéng);;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲(chǔ)及管理方法比較研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年04期

5 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國(guó)管理信息化;2009年21期

6 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項(xiàng)挖掘的降載策略[J];計(jì)算機(jī)應(yīng)用研究;2011年04期

7 聶國(guó)梁;盧正鼎;聶國(guó)棟;;流數(shù)據(jù)近似統(tǒng)計(jì)算法研究[J];計(jì)算機(jī)科學(xué);2005年04期

8 魏晶晶;金培權(quán);龔育昌;岳麗華;;基于流數(shù)據(jù)的大對(duì)象數(shù)據(jù)緩沖機(jī)制[J];計(jì)算機(jī)工程;2006年11期

9 楊立;;基于權(quán)重的流數(shù)據(jù)頻繁項(xiàng)挖掘算法的應(yīng)用[J];微型機(jī)與應(yīng)用;2011年02期

10 尹為;張成虎;楊彬;;基于流數(shù)據(jù)頻繁項(xiàng)挖掘的可疑金融交易識(shí)別研究[J];西安交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2011年05期

相關(guān)會(huì)議論文 前3條

1 劉正濤;毛宇光;吳莊;;一種新的流數(shù)據(jù)模型及其擴(kuò)展[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

2 姚春芬;陳紅;;分布偏斜的流數(shù)據(jù)上的一種直方圖維護(hù)算法[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

3 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數(shù)據(jù)密度聚類算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

相關(guān)博士學(xué)位論文 前6條

1 丁智國(guó);流數(shù)據(jù)在線異常檢測(cè)方法研究[D];上海大學(xué);2015年

2 聶國(guó)梁;流數(shù)據(jù)統(tǒng)計(jì)算法研究[D];華中科技大學(xué);2006年

3 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

4 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

5 屠莉;流數(shù)據(jù)的頻繁項(xiàng)挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

6 陳筠翰;車載網(wǎng)絡(luò)的若干關(guān)鍵技術(shù)研究[D];吉林大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 孔祥佳;基于海洋平臺(tái)監(jiān)測(cè)的流數(shù)據(jù)管理研究[D];大連理工大學(xué);2015年

2 王晨陽(yáng);支持位置謂詞的XML流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2015年

3 王中義;基于動(dòng)態(tài)支持度的流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘[D];哈爾濱工業(yè)大學(xué);2014年

4 趙丹;面向流數(shù)據(jù)的不平衡樣本分類研究[D];哈爾濱工業(yè)大學(xué);2014年

5 馮學(xué)智;基于宏森林自動(dòng)機(jī)的XML流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2015年

6 徐靂靂;物流數(shù)據(jù)中的云聚類調(diào)度算法研究[D];南京郵電大學(xué);2015年

7 肖丙賢;大規(guī)模流數(shù)據(jù)聚集查詢服務(wù)的生成與優(yōu)化[D];北方工業(yè)大學(xué);2016年

8 劉曉斐;分布式流處理系統(tǒng)操作共享優(yōu)化算法研究[D];吉林大學(xué);2016年

9 張媛;基于彈性分布式數(shù)據(jù)集的流數(shù)據(jù)聚類分析[D];華東師范大學(xué);2016年

10 王曾亦;基于內(nèi)存計(jì)算的流數(shù)據(jù)處理在飛行大數(shù)據(jù)的研究與應(yīng)用[D];電子科技大學(xué);2016年

本文編號(hào)：2577164