本文關(guān)鍵詞：雙MapReduce改進的Canopy-Kmeans算法

  更多相關(guān)文章： Canopy-Kmeans 冗余計算 Hadoop平臺 雙MapReduce

【摘要】：由于傳統(tǒng)的Canopy-Kmeans算法在中心點的選取存在隨機性,其迭代過程的冗余計算降低了算法的運行效率.文中基于"最小最大原則"和三角不等式原理,在Hadoop平臺上提出了一種基于雙MapReduce改進的Canopy-Kmeans算法.實驗結(jié)果表明:設(shè)計的并行算法精確率在不同大小的數(shù)據(jù)集上平均提高了15.3%,加速比和擴展性隨著數(shù)據(jù)規(guī)模和節(jié)點的不斷增加也相應的提高了1.5~3倍,解決了Canopy中心點選中存在的問題和迭代過程中冗余的距離計算.
【作者單位】： 西安工業(yè)大學計算機科學與工程學院;
【關(guān)鍵詞】： Canopy-Kmeans 冗余計算 Hadoop平臺 雙MapReduce
【基金】：陜西省科技統(tǒng)籌創(chuàng)新工程計劃項目(2015KTCXSF-10-11) 西安市未央?yún)^(qū)科技計劃項目(201609)
【分類號】：TP311.13
【正文快照】： 常用的K-means算法是一種基于劃分的聚類挖掘算法,該算法的思路簡單、收斂速度快,使用廣泛且易于實現(xiàn),但在K值及中心點的選取上仍然存在很大的隨機性和不科學性,容易使聚類結(jié)果陷入局部最優(yōu),且在迭代過程中存在大量的冗余計算,并行處理能力差,缺乏可伸縮性,大大降低了算法的運

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 司方豪;鐘春琳;;使用MapReduce提高多路數(shù)組聚集效率[J];電腦編程技巧與維護;2014年10期

2 賈瑞玉;劉范范;潘雯雯;王偉東;;基于MapReduce模型的并行量子進化算法[J];計算機工程;2012年08期

3 周濤;賀其備;黃光明;林和平;;基于MapReduce的海量圖像處理模型的研究[J];信息技術(shù);2013年11期

4 楊紹禹;王世卿;;MapReduce模型下數(shù)據(jù)隱私保護機制研究[J];計算機科學;2012年12期

5 劉熱;;基于MapReduce的大規(guī)模話題網(wǎng)絡(luò)提取分析[J];淮海工學院學報(自然科學版);2014年02期

6 冷芳玲;鮑玉斌;高偉;于戈;;基于MapReduce的數(shù)據(jù)聚集運算算法[J];中國科技論文在線;2011年07期

7 潘巍;李戰(zhàn)懷;伍賽;陳群;;基于消息傳遞機制的MapReduce圖算法研究[J];計算機學報;2011年10期

8 吳文忠;易平;;MapReduce在分布式搜索引擎中的應用[J];計算機系統(tǒng)應用;2012年02期

9 金健;陳群;趙保學;;數(shù)據(jù)傾斜情況下基于MapReduce模型的連接算法研究[J];計算機與現(xiàn)代化;2013年05期

10 賈瑞玉;李亞龍;;基于MapReduce的量子蟻群算法[J];計算機工程與應用;2013年19期

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 金鵬;MapReduce框架下基于閾值約束的空間文本相似連接[D];燕山大學;2015年

2 周鳴愛;云計算中MapReduce高可用性和高效性的優(yōu)化研究[D];河北工程大學;2015年

3 閆曉嫵;MapReduce下的約束頻繁模式挖掘與任務調(diào)度[D];太原科技大學;2015年

4 王強;基于MapReduce的大數(shù)據(jù)增量處理研究[D];東北大學;2014年

5 魏博文;基于MapReduce的XML編碼查詢算法研究與實現(xiàn)[D];武漢紡織大學;2016年

6 余川江;網(wǎng)格中基于MapReduce應用的可視化系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學;2012年

7 陳存衡;基于MapReduce的數(shù)據(jù)圖檢索算法研究[D];大連海事大學;2013年

8 鄒鵬;基于抽樣分區(qū)解決MapReduce中的數(shù)據(jù)傾斜問題[D];大連理工大學;2013年

9 何翔;異構(gòu)分布式環(huán)境下基于MapReduce模型的任務調(diào)度算法研究[D];湖南大學;2013年

10 孫雨冰;基于MapReduce化的數(shù)據(jù)聚類算法的研究、設(shè)計與應用[D];華東理工大學;2013年

，

本文編號：602060