本文關(guān)鍵詞：數(shù)據(jù)流與磁盤(pán)存貯表的連接計(jì)算算法　出處：《控制工程》2014年06期 　論文類型：期刊論文

  更多相關(guān)文章： 數(shù)據(jù)流 連接計(jì)算 磁盤(pán)存儲(chǔ)表 邏輯分區(qū) 速率

【摘要】：數(shù)據(jù)流與存貯表的連接查詢經(jīng)常出現(xiàn)在主動(dòng)式數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)中,與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)的連接計(jì)算不同,數(shù)據(jù)流快速處理的要求不允許將數(shù)據(jù)流先存入磁盤(pán)再計(jì)算,而計(jì)算機(jī)內(nèi)存無(wú)法存儲(chǔ)無(wú)界增長(zhǎng)的數(shù)據(jù)流,因此數(shù)據(jù)流查詢采用先處理再存儲(chǔ)結(jié)果的計(jì)算方式。數(shù)據(jù)流與存貯表的連接計(jì)算算法重點(diǎn)要解決內(nèi)存開(kāi)銷和處理速率二個(gè)問(wèn)題。MESHJOIN算法最早提出將存貯表劃分為若干個(gè)數(shù)據(jù)塊,將數(shù)據(jù)塊交替放入內(nèi)存與數(shù)據(jù)流窗口完成連接計(jì)算。在MESHJOIN算法思想的基礎(chǔ)上將存貯表的內(nèi)存數(shù)據(jù)塊也劃分為若干邏輯分區(qū),每次連接計(jì)算僅替換其中的一個(gè)邏輯分區(qū),有效地降低了數(shù)據(jù)流滑動(dòng)窗口所需的I/O代價(jià),從而提高滑動(dòng)窗口的計(jì)算速率。最后通過(guò)實(shí)驗(yàn)對(duì)二種算法在內(nèi)存開(kāi)銷和計(jì)算速率進(jìn)行了比較。
[Abstract]:The connection query between data stream and storage table often appears in the maintenance of active data warehouse, which is different from the traditional connection calculation of relational database. The requirement for fast data flow processing does not allow data streams to be stored on disk before computing, while computer memory cannot store unbounded growing data streams. Therefore, the data stream query is calculated by processing the results before storing the results. The algorithm for computing the connection between data stream and storage table focuses on solving the two problems of memory overhead and processing rate. The MeshJOIN algorithm was first proposed. The storage table is divided into several data blocks. The data blocks are placed alternately into memory and data stream windows to complete the connection calculation. The memory data blocks of the storage table are divided into several logical partitions on the basis of the MESHJOIN algorithm. Each connection computation replaces only one of these logical partitions, which effectively reduces the I / O cost required for the sliding window of the data flow. In order to improve the calculation rate of sliding window, the memory overhead and computing rate of the two algorithms are compared by experiments.
【作者單位】： 廣東警官學(xué)院計(jì)算機(jī)系;廣州市公共安全重點(diǎn)研究基地;武漢大學(xué)軟件工程國(guó)家重點(diǎn)實(shí)驗(yàn)室;暨南大學(xué)計(jì)算機(jī)系;
【基金】：公安部技術(shù)研究計(jì)劃項(xiàng)目(2014JSYJB048) 廣東省自然科學(xué)基金(S2012010008831) 武漢大學(xué)軟件工程國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金(SKLSE2012-09-37)
【分類號(hào)】：TP311.13;TP333
【正文快照】： 1引言源源不斷產(chǎn)生的數(shù)據(jù)流與磁盤(pán)存貯表的連接查詢經(jīng)常出現(xiàn)在主動(dòng)式數(shù)據(jù)倉(cāng)庫(kù)的實(shí)時(shí)維護(hù)中,如數(shù)據(jù)倉(cāng)庫(kù)集成端的代理主碼分配、重復(fù)元組檢測(cè)等,該類增量維護(hù)可表示為S嗷喙cR,S是數(shù)據(jù)源產(chǎn)生的增量流,R是磁盤(pán)存貯表,且R往往不能一次全部放入主存,R的更新相對(duì)S的流速可以忽略。傳

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 林子雨;林琛;馮少榮;張東站;;MESHJOIN*:實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下的數(shù)據(jù)流更新算法[J];計(jì)算機(jī)科學(xué)與探索;2010年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前1條

1 潘鄭冰;戴牡紅;;實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)中一種改進(jìn)的數(shù)據(jù)流更新算法[J];計(jì)算機(jī)工程;2014年10期

相關(guān)碩士學(xué)位論文 前2條

1 趙奇;動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)中實(shí)時(shí)數(shù)據(jù)流更新與物化樣本視圖的研究與實(shí)現(xiàn)[D];浙江大學(xué);2011年

2 高紅濤;河北網(wǎng)通基于數(shù)據(jù)倉(cāng)庫(kù)的帳務(wù)決策分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 林子雨;楊冬青;宋國(guó)杰;王騰蛟;唐世渭;;實(shí)時(shí)主動(dòng)數(shù)據(jù)倉(cāng)庫(kù)中多維數(shù)據(jù)實(shí)視圖的選擇[J];軟件學(xué)報(bào);2008年02期

，

本文編號(hào)：1433341