本文關(guān)鍵詞：基于MapReduce的相似自連接新方法:過(guò)濾和內(nèi)切圓算法，由筆耕文化傳播整理發(fā)布。

【摘要】：相似自連接是一個(gè)在很多應(yīng)用領(lǐng)域中很重要的問(wèn)題.對(duì)于海量數(shù)據(jù)集,MapReduce可以提供一個(gè)有效的分布式計(jì)算框架,相似自連接操作也同樣可以應(yīng)用在MapReduce框架下.但已有研究工作仍然存在不足,如對(duì)于聚集數(shù)據(jù)區(qū)域采用加細(xì)劃分方法,目的是負(fù)載平衡,但不易實(shí)現(xiàn).現(xiàn)有的算法不能有效地完成海量數(shù)據(jù)集的相似自連接操作.為此提出了2個(gè)新穎的基于MapReduce的相似自連接算法,其思想是采用坐標(biāo)過(guò)濾技術(shù),形成有效候選集,以及針對(duì)聚集區(qū)域采用六邊形劃分的內(nèi)切圓算法.過(guò)慮技術(shù)是在等寬網(wǎng)格劃分基礎(chǔ)上,利用同一維坐標(biāo)間的距離差與相似性約束閾值ε進(jìn)行比較,可以明顯地減少候選集的數(shù)量,也證明了六邊形劃分是所有正多邊形全覆蓋中最優(yōu)的劃分方法.實(shí)驗(yàn)結(jié)果表明:新方法比其他算法有更高的效率,提高效率80%以上,它能夠有效地解決有聚集區(qū)域的海量數(shù)據(jù)集的相似自連接問(wèn)題.
【作者單位】： 黑龍江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【關(guān)鍵詞】： 海量數(shù)據(jù)集 過(guò)濾 相似自連接 數(shù)據(jù)劃分 Hadoop平臺(tái) MapReduce編程模型
【基金】：國(guó)家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃基金項(xiàng)目(2012CB316200) 國(guó)家自然科學(xué)基金項(xiàng)目(61302139)~~
【分類號(hào)】：TP311.13
【正文快照】： 連接操作(join)是一個(gè)很重要的數(shù)據(jù)庫(kù)操作,相似自連接是join的一種特殊類型,即對(duì)同一數(shù)據(jù)類型進(jìn)行相似自連接操作.它在數(shù)據(jù)分析中扮演很重要的角色:數(shù)據(jù)清理[1]、相近的文本查重[2]、文件相似性分析[3]和數(shù)據(jù)挖掘等工作,特別在基于密度的聚類分析中也用到了相似自連接操作的結(jié)

  本文關(guān)鍵詞：基于MapReduce的相似自連接新方法:過(guò)濾和內(nèi)切圓算法，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：461767