【摘要】：隨著序列數據在實際中的廣泛應用,序列數據質量評價成為學術、工業(yè)等眾多領域的熱門研究問題。目前主流的序列數據質量評價方法是基于概率后綴樹模型進行數據質量評價,然而這種方法難以實現對大規(guī)模數據的處理。為解決此問題,提出了基于Spark的序列數據質量評價算法STALK(sequential data quality evaluation with Spark),并且采用了改進的剪枝策略來提高算法效率。具體地,在Spark平臺下,利用大規(guī)模序列數據高效建立生成模型,并根據生成模型對查詢序列的數據質量進行快速評價。最后通過真實序列數據集驗證了STALK算法的有效性、執(zhí)行效率和可擴展性。
[Abstract]:With the wide application of sequence data in practice, the evaluation of sequence data quality has become a hot research issue in many fields, such as academia, industry and so on. At present, the main methods for evaluating the quality of sequential data are based on the probabilistic suffix tree model. However, it is difficult to process large scale data by this method. To solve this problem, a sequence data quality evaluation algorithm (STALK (sequential data quality evaluation with Spark),) based on Spark is proposed and an improved pruning strategy is adopted to improve the efficiency of the algorithm. Specifically, based on the Spark platform, the generation model is established efficiently by using large-scale sequence data, and the data quality of query sequence is evaluated quickly according to the generation model. Finally, the validity, execution efficiency and extensibility of STALK algorithm are verified by real sequence data sets.
【作者單位】： 四川大學計算機學院;四川大學華西公共衛(wèi)生學院;南京郵電大學先進技術研究院;
【基金】：國家自然科學基金Nos.61572332,51507084 中國博士后科學基金Nos.2016T90850,2016M591890 中央高校基本科研業(yè)務費專項資金No.2016SCU04A22~~
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 石柱,何新貴;優(yōu)序法在軟件質量評價中的應用[J];計算機工程與設計;2002年02期

2 吳立德,吳靄成;軟件質量評價國外發(fā)展概況綜述[J];計算機工程;1985年05期

3 周津慧,王宗,楊宗奎,劉霞;基于模糊評價方法的軟件質量評價研究[J];系統(tǒng)工程與電子技術;2004年07期

4 文峰;;數據組織過程中的數據質量評價研究[J];軟件導刊;2013年11期

5 肖鴻民;軟件質量評價的一種定量化方法[J];西北師范大學學報(自然科學版);2000年04期

6 劉暢;;管理軟件質量評價模型研究[J];價值工程;2010年14期

7 張立紅,石少儉;質量管理技術在軟件評價中的應用[J];信息技術與信息化;2005年05期

8 張寧蓉;嚴立;陳亦望;;網絡教學質量的模糊綜合評價[J];計算機教育;2007年08期

9 尹平;基于ISO的軟件質量評價分析[J];信息技術與標準化;2005年12期

10 關帥;孫雅囡;朱清浩;;一種潛艇作戰(zhàn)軟件質量評價的新方法[J];中國艦船研究;2008年05期

相關碩士學位論文 前8條

1 李欣奕;網絡百科條目質量評價研究[D];國防科學技術大學;2014年

2 陳奐昊;移動互聯(lián)網應用中間件測試及質量評價研究[D];華南理工大學;2015年

3 劉凱;電子商務環(huán)境下的E-Service質量評價研究[D];華中師范大學;2006年

4 李敏;動漫圖片質量評價研究[D];廈門大學;2014年

5 宋濤;網上閱卷評卷員評卷質量評價分析體系及模型研究[D];河南大學;2010年

6 高亞欣;合成圖像的質量評價[D];西安電子科技大學;2013年

7 龍劍鋒;近紅外人臉圖像識別與質量評價[D];湖南大學;2012年

8 王富貴;基于序相關性的搜索結果質量評價[D];西華大學;2009年

，

本文編號：2311841