【摘要】：隨著移動通信和互聯(lián)網(wǎng)技術的迅猛發(fā)展,如何高效地分析移動用戶的需求并及時推送有用信息成為數(shù)據(jù)挖掘領域的熱點之一。針對上述問題,提出一種基于云計算Hadoop平臺的分布式關聯(lián)規(guī)則MRS-Apriori算法。該方法在經(jīng)典Apriori算法的基礎上優(yōu)化了數(shù)據(jù)庫編碼規(guī)則,增加了判斷標記Judgemark來判斷事務項是否頻繁,提高了MRS-Apriori算法在連接時掃描數(shù)據(jù)庫的效率。在編碼的基礎上,采用Hadoop平臺下的MapReduce編程框架模型實現(xiàn)并行化處理,提高了迭代時連接步驟的效率,降低了大規(guī)模數(shù)據(jù)樣本運算的時間開銷。實驗結(jié)果表明,改進的MRS-Apriori算法可以有效地減少運算時間,在處理大規(guī)模數(shù)據(jù)集上具有較高的準確性。
[Abstract]:With the rapid development of mobile communication and Internet technology, how to efficiently analyze the needs of mobile users and push useful information in time has become one of the hot topics in the field of data mining. To solve the above problems, a distributed association rule MRS-Apriori algorithm based on cloud computing Hadoop platform is proposed. Based on the classical Apriori algorithm, the algorithm optimizes the rules of database coding, adds the judgment mark Judgemark to judge whether the transaction items are frequent or not, and improves the efficiency of the MRS-Apriori algorithm to scan the database when connecting. On the basis of coding, parallel processing is realized by using MapReduce programming framework model based on Hadoop platform, which improves the efficiency of connection step in iteration and reduces the time cost of large-scale data sample operation. The experimental results show that the improved MRS-Apriori algorithm can effectively reduce the computational time and has a high accuracy in dealing with large scale data sets.
【作者單位】： 遼寧師范大學計算機與信息技術學院;
【基金】：國家自然科學基金項目(F020806) 遼寧省高等學校優(yōu)秀人才支持計劃項目(LR2015033) 遼寧省科技計劃項目(2013405003) 大連市科技計劃項目(2013A16GX116)資助
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 肖基毅,鄒臘梅,劉豐;頻繁項集挖掘算法研究[J];情報雜志;2005年11期

2 蔡進;薛永生;張東站;;基于分區(qū)分類法快速更新頻繁項集[J];計算機工程與應用;2007年09期

3 胡學鋼;徐勇;王德興;張晶;;基于多剪枝格的頻繁項集表示與挖掘[J];合肥工業(yè)大學學報(自然科學版);2007年04期

4 胡學鋼;劉衛(wèi);王德興;;基于剪枝概念格模型的頻繁項集表示及挖掘[J];合肥工業(yè)大學學報(自然科學版);2007年09期

5 欒鸞;李云;盛艷;;多關系頻繁項集的并行獲取[J];微電子學與計算機;2008年10期

6 李彥偉;戴月明;王金鑫;;一種挖掘加權(quán)頻繁項集的改進算法[J];計算機工程與應用;2011年15期

7 陳立潮,張建華,劉玉樹;提高頻繁項集挖掘算法效率的方法研究[J];計算機工程與應用;2002年10期

8 朱玉全,孫志揮,趙傳申;快速更新頻繁項集[J];計算機研究與發(fā)展;2003年01期

9 宋寶莉;張幫華;何炎祥;朱驍峰;;帶有多個可轉(zhuǎn)化約束的頻繁項集挖掘算法[J];計算機科學;2003年12期

10 王自強,馮博琴;頻繁項集的簡潔表示方法研究[J];系統(tǒng)工程理論與實踐;2004年07期

相關會議論文 前10條

1 欒鸞;李云;盛艷;;多關系頻繁項集的并行獲取[A];2008年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2008年

2 楊曉明;王晨;汪衛(wèi);張守志;施伯樂;;頻繁項集的精簡表達與還原問題研究[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

3 鄧傳國;;頻繁項集挖掘與學生素質(zhì)測評應用研究[A];2007系統(tǒng)仿真技術及其應用學術會議論文集[C];2007年

4 李彤巖;李興明;;基于分布式關聯(lián)規(guī)則挖掘的告警相關性研究[A];2007通信理論與技術新發(fā)展——第十二屆全國青年通信學術會議論文集（下冊）[C];2007年

5 王洪利;馮玉強;;頻繁項集挖掘算法Apriori的改進研究[A];全國第九屆企業(yè)信息化與工業(yè)工程學術會議論文集[C];2005年

6 陳曉云;李龍杰;馬志新;白伸伸;王磊;;AFP-Miner:一種新高效的頻繁項集挖掘算法[A];2006年全國理論計算機科學學術年會論文集[C];2006年

7 李坤;王永炎;王宏安;;一種基于樂觀裁剪策略的挖掘數(shù)據(jù)流滑動窗口上閉合頻繁項集的算法[A];第二十五屆中國數(shù)據(jù)庫學術會議論文集（二）[C];2008年

8 鄒遠婭;周皓峰;王晨;汪衛(wèi);施伯樂;;FSC——利用頻繁項集挖掘估算視圖大小[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2004年

9 楊曉雪;衡紅軍;;一種對XML數(shù)據(jù)進行關聯(lián)規(guī)則挖掘的方法研究[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

10 謝志軍;陳紅;;EFIM——數(shù)據(jù)流上頻繁項集挖掘的高性能算法[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2006年

相關博士學位論文 前3條

1 溫磊;基于有向項集圖的關聯(lián)規(guī)則挖掘算法研究與應用[D];天津大學;2004年

2 董杰;基于位表的關聯(lián)規(guī)則挖掘及關聯(lián)分類研究[D];大連理工大學;2009年

3 賈彩燕;關聯(lián)規(guī)則挖掘的取樣復雜性分析[D];中國科學院研究生院（計算技術研究所）;2004年

相關碩士學位論文 前10條

1 王立俊;基于多重最小支持度的氋效用頻繁項集挖掘算法研究[D];廣西大學;2015年

2 陳國俊;基于Hadoop的云存儲系統(tǒng)的研究與應用[D];電子科技大學;2014年

3 尹艷紅;基于Apriori算法的增量式關聯(lián)規(guī)則控制研究[D];大連理工大學;2015年

4 田苗鳳;大數(shù)據(jù)背景下并行動態(tài)關聯(lián)規(guī)則挖掘研究[D];蘭州交通大學;2015年

5 李雪迪;基于本體論的精細化數(shù)據(jù)分析[D];南京郵電大學;2015年

6 廖友金;基于有向圖的關聯(lián)規(guī)則挖掘研究與改進[D];東南大學;2015年

7 王蘇琦;基于Hadoop的不確定頻繁項集并行挖掘方法研究[D];南京大學;2013年

8 韓宏瑩;并行數(shù)據(jù)挖掘技術在電信網(wǎng)管告警中的應用研究[D];長春工業(yè)大學;2016年

9 張敏;頻繁項集挖掘算法在高職院校教師評價系統(tǒng)中的應用研究[D];長春工業(yè)大學;2016年

10 林晨;頻繁項集挖掘算法及其基于Spark的并行化研究[D];華東師范大學;2016年

，

本文編號：2147831