本文關(guān)鍵詞：2種加速K-近鄰方法的實(shí)驗(yàn)比較

  更多相關(guān)文章： K-近鄰 數(shù)據(jù)挖掘 MapReduce Hadoop

【摘要】：K-近鄰(K-NN:K-nearest neighbors)是著名的數(shù)據(jù)挖掘算法,應(yīng)用非常廣泛.K-NN思想簡(jiǎn)單,易于實(shí)現(xiàn),其計(jì)算時(shí)間復(fù)雜度和空間復(fù)雜度都是O(n),n為訓(xùn)練集中包含的樣例數(shù).當(dāng)訓(xùn)練集比較大時(shí),特別是面對(duì)大數(shù)據(jù)集時(shí),K-NN算法的效率會(huì)變得非常低,甚至不可行.本文用實(shí)驗(yàn)的方法比較了2種加速K-NN的方法,2種加速方法分別是壓縮近鄰(CNN:condensed nearest neighbor)方法和基于MapReduce的K-NN.具體地,在Hadoop環(huán)境下,用MapReduce編程實(shí)現(xiàn)了K-NN算法,并與CNN算法在8個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)比較,得出了一些有價(jià)值的結(jié)論,對(duì)從事相關(guān)研究的人員具有一定的借鑒作用.
【作者單位】： 河北大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(71371063) 河北省高等學(xué)�？茖W(xué)技術(shù)研究重點(diǎn)項(xiàng)目(ZD20131028) 河北大學(xué)研究生創(chuàng)新項(xiàng)目(X2016059)
【分類(lèi)號(hào)】：TP311.13
【正文快照】： K-近鄰(K-NN:K-nearest neighbors)算法[1]是一種著名的數(shù)據(jù)挖掘算法,已成功應(yīng)用于模式識(shí)別[2]、文本分類(lèi)[3-4]、故障診斷[5]等.K-NN通過(guò)計(jì)算待分類(lèi)樣例與訓(xùn)練集中每一個(gè)樣例之間的距離,找到距離它最近的K個(gè)樣例,樣例最多的類(lèi)別,即為待分類(lèi)樣例的類(lèi)別.顯然,K-NN算法的計(jì)算時(shí)間

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王清毅,張波,蔡慶生;目前數(shù)據(jù)挖掘算法的評(píng)價(jià)[J];小型微型計(jì)算機(jī)系統(tǒng);2000年01期

2 胡浩紋,魏軍,胡濤;模糊數(shù)據(jù)挖掘算法在人力資源管理中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2002年05期

3 萬(wàn)國(guó)華,陳宇曉;數(shù)據(jù)挖掘算法及其在股市技術(shù)分析中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2004年11期

4 文俊浩,胡顯芝,何光輝,徐玲;小波在數(shù)據(jù)挖掘算法中的運(yùn)用[J];重慶大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年12期

5 鄒志文,朱金偉;數(shù)據(jù)挖掘算法研究與綜述[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年09期

6 趙澤茂,何坤金,胡友進(jìn);基于距離的異常數(shù)據(jù)挖掘算法及其應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2005年09期

7 趙晨,諸靜;過(guò)程控制中的一種數(shù)據(jù)挖掘算法[J];武漢大學(xué)學(xué)報(bào)(工學(xué)版);2005年05期

8 王振華,柴玉梅;基于決策樹(shù)的分布式數(shù)據(jù)挖掘算法研究[J];河南科技;2005年02期

9 胡作霆;董蘭芳;王洵;;圖的數(shù)據(jù)挖掘算法研究[J];計(jì)算機(jī)工程;2006年03期

10 宋中山;吳立鋒;;增量數(shù)據(jù)挖掘算法在區(qū)域交通管理中的應(yīng)用[J];武漢理工大學(xué)學(xué)報(bào)(交通科學(xué)與工程版);2006年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 賀煒;邢春曉;潘泉;;因果不完備條件下的數(shù)據(jù)挖掘算法[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

2 劉玲;張興會(huì);;基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘算法研究[A];全國(guó)第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議專(zhuān)刊[C];2008年

3 陳曦;曾凡鋒;;數(shù)據(jù)挖掘算法在風(fēng)險(xiǎn)評(píng)估中的應(yīng)用[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2007年

4 郭新宇;梁循;;大型數(shù)據(jù)庫(kù)中數(shù)據(jù)挖掘算法SLIQ的研究及仿真[A];2004年中國(guó)管理科學(xué)學(xué)術(shù)會(huì)議論文集[C];2004年

5 張沫;欒媛媛;秦培玉;羅丹;;基于聚類(lèi)算法的多維客戶(hù)行為細(xì)分模型研究與實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

6 潘國(guó)林;楊帆;;數(shù)據(jù)挖掘算法在保險(xiǎn)客戶(hù)分析中的應(yīng)用[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

7 張乃岳;張力;張學(xué)燕;;基于字段匹配的CRM數(shù)據(jù)挖掘算法與應(yīng)用[A];邏輯學(xué)及其應(yīng)用研究——第四屆全國(guó)邏輯系統(tǒng)、智能科學(xué)與信息科學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

8 祖巧紅;陳定方;胡吉全;;客戶(hù)分析中的數(shù)據(jù)挖掘算法比較研究[A];12省區(qū)市機(jī)械工程學(xué)會(huì)2006年學(xué)術(shù)年會(huì)湖北省論文集[C];2006年

9 李怡凌;馬亨冰;;一種基于本體的關(guān)聯(lián)規(guī)則挖掘算法[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

10 盛立;劉希玉;高明;;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[A];山東省計(jì)算機(jī)學(xué)會(huì)2005年信息技術(shù)與信息化研討會(huì)論文集（二）[C];2005年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 ;選擇合適的數(shù)據(jù)挖掘算法[N];計(jì)算機(jī)世界;2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 陳云開(kāi);基于粗糙集和聚類(lèi)的數(shù)據(jù)挖掘算法及其在反洗錢(qián)中的應(yīng)用研究[D];華中科技大學(xué);2007年

2 張靜;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[D];西北工業(yè)大學(xué);2006年

3 沙朝鋒;基于信息論的數(shù)據(jù)挖掘算法[D];復(fù)旦大學(xué);2008年

4 梁瑾;模糊粗糙單調(diào)數(shù)據(jù)挖掘算法及在污水處理中應(yīng)用研究[D];華南理工大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 謝亞鑫;基于Hadoop的數(shù)據(jù)挖掘算法的研究[D];華北電力大學(xué);2015年

2 彭軍;基于新型異構(gòu)計(jì)算平臺(tái)的數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 楊維;基于Hadoop的健康物聯(lián)網(wǎng)數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

4 孫兵率;基于MapReduce的數(shù)據(jù)挖掘算法并行化研究與應(yīng)用[D];西安工程大學(xué);2015年

5 張永芳;基于Hadoop平臺(tái)的并行數(shù)據(jù)挖掘算法研究[D];安徽理工大學(xué);2016年

6 李圍成;基于FP-樹(shù)的時(shí)空數(shù)據(jù)挖掘算法研究[D];河南工業(yè)大學(xué);2016年

7 官凱;基于MapReduce的圖挖掘研究[D];貴州師范大學(xué);2016年

8 陳名輝;基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D];湖南師范大學(xué);2016年

9 劉少龍;面向大數(shù)據(jù)的高效數(shù)據(jù)挖掘算法研究[D];華北電力大學(xué)(北京);2016年

10 孫孝萍;基于聚類(lèi)分析的數(shù)據(jù)挖掘算法研究[D];西南石油學(xué)院;2002年

，

本文編號(hào)：1204522