數(shù)據(jù)流亂序現(xiàn)象會導(dǎo)致數(shù)據(jù)流處理結(jié)果的丟失,給數(shù)據(jù)流的分析處理帶來了巨大困難。本研究探討了質(zhì)量驅(qū)動下的亂序數(shù)據(jù)流連接處理問題,提出一種質(zhì)量驅(qū)動的亂序數(shù)據(jù)流連接處理技術(shù)（QJoin）。QJoin采用緩沖存儲技術(shù)和對稱連接策略,實現(xiàn)并確保對流元組進行即時分析處理,從而降低了流元組處理的平均等待時間。同時,基于質(zhì)量驅(qū)動的理念,根據(jù)臨近階段連接處理過程中收集統(tǒng)計的數(shù)據(jù),自適應(yīng)地調(diào)整和優(yōu)化內(nèi)存緩存區(qū)的大小,從而在滿足用戶結(jié)果質(zhì)量要求的前提下,降低系統(tǒng)內(nèi)部歷史數(shù)據(jù)的內(nèi)存緩存量,盡可能保證遲到元組的連接處理完整性。真實數(shù)據(jù)集上的實驗結(jié)果表明,與傳統(tǒng)的數(shù)據(jù)流亂序處理技術(shù)MP-K-slack相比,QJoin在滿足用戶結(jié)果質(zhì)量要求的前提下,確保能夠即時地分析處理數(shù)據(jù)流的流元組,顯著降低系統(tǒng)的內(nèi)存開銷。 

【文章來源】：廣西科學(xué). 2020,27(03)

【文章頁數(shù)】：10 頁

【文章目錄】：
0 引言
1 方法描述
    1.1 QJoin的設(shè)計思想
    1.2 對稱連接方法
    1.3 亂序數(shù)據(jù)流連接結(jié)果質(zhì)量
    1.4 基于用戶質(zhì)量的緩存自適應(yīng)
        1.4.1 緩存自適應(yīng)調(diào)整
        1.4.2 L周期用戶質(zhì)量期望
        1.4.3 L周期受緩存影響的質(zhì)量QL(x,y)
    1.5 算法描述
2 結(jié)果與分析
    2.1 實驗環(huán)境設(shè)置
    2.2 參數(shù)設(shè)置對內(nèi)存開銷的影響
    2.3 QJoin技術(shù)和MP-K-slack技術(shù)性能比較
        1）流元組平均處理時延比較
        2）平均內(nèi)存開銷比較
3 結(jié)論


【參考文獻】：
期刊論文
[1]基于混合處理模型的亂序數(shù)據(jù)流分布式聚合查詢處理技術(shù)[J]. 楊寧,許嘉,呂品,李陶深.  廣西科學(xué). 2019(04)
[2]基于EMD距離的數(shù)據(jù)流分布式相似性連接技術(shù)[J]. 許嘉,宋超,呂品,李陶深.  計算機學(xué)報. 2019(08)
[3]基于高速亂序流的Top-k連續(xù)查詢算法[J]. 朱睿,王斌,楊曉春,王國仁.  計算機學(xué)報. 2018(08)
[4]物聯(lián)網(wǎng)中具有時間持續(xù)性特征的亂序事件查詢處理技術(shù)研究[J]. 周春姐,戴鵬飛,李洪波,張振興.  計算機科學(xué). 2016(05)



本文編號：3201078