針對序列模式的高效用模式挖掘過程中搜索空間大、計算復(fù)雜度高的問題,提出一種基于多效用閾值的分布式高效用序列模式挖掘算法。采用數(shù)組結(jié)構(gòu)保存模式的效用信息,解決效用矩陣導(dǎo)致的內(nèi)存消耗大的缺點。設(shè)計1-項集與2-項集的深度剪枝策略,深入地縮小候選模式的搜索空間,減少搜索時間成本與緩存成本。提出挖掘算法的分布式實現(xiàn)方案,通過并行處理進(jìn)一步降低模式挖掘的時間�；谥械纫�(guī)模與大規(guī)模的序列數(shù)據(jù)集分別進(jìn)行實驗,實驗結(jié)果表明,該算法有效減少了候選模式的數(shù)量,降低了挖掘的時間成本與存儲成本,對于大數(shù)據(jù)集表現(xiàn)出較好的可擴(kuò)展能力與穩(wěn)定性。

【文章頁數(shù)】：9 頁

【文章目錄】：
0 引言
1 問題模型
2 數(shù)據(jù)結(jié)構(gòu)與算法設(shè)計
    2.1 會話序列的字典樹（前綴樹）結(jié)構(gòu)
    2.2 基于數(shù)組的低內(nèi)存快速挖掘策略
    2.3 索引效用列表
    2.4 生成序列的iulist
    2.5 效用上限與初步剪枝策略
    2.6 串型高效用模式挖掘算法（string high efficient pattern mining algorithm,SHEPMA)
3 分布式高效用模式挖掘算法（distributed high efficient pattern mining algorithm,SHEMA)
    3.1 分布式效用列表設(shè)計
    3.2 分布式多閾值挖掘的深度剪枝屬性
    3.3 SHEMA算法
    3.4 SHEMA的分布式實現(xiàn)方案
    3.5 算例
4 實驗結(jié)果與分析
    4.1 實驗數(shù)據(jù)集
    4.2 剪枝策略的性能
    4.3 挖掘算法的挖掘時間
    4.4 挖掘算法的擴(kuò)展性性能
    4.5挖掘算法消耗的內(nèi)存
5 結(jié)束語



本文編號：3786844