本文選題：空間離群點 + 分布式計算　； 參考：《測繪科學》2017年08期

【摘要】：針對現(xiàn)有空間離群點挖掘算法無法適應大規(guī)模空間數(shù)據(jù)挖掘的需求,該文提出了一種分布式條件下的空間離群點挖掘算法。首先,該文針對集群上分布式計算和存儲的特點提出使用空間填充曲線來劃分數(shù)據(jù)集,加速尋找目標點的近似空間最近鄰居。其次,使用信息熵的理論來定義空間離群系數(shù),考慮到多維數(shù)據(jù)中不同屬性對離群系數(shù)的影響具有差異性,該算法能夠自動根據(jù)數(shù)據(jù)原有特點,計算各屬性的權重;同時使用反距離權定義空間因素對離群系數(shù)的影響。最后,實驗結果表明該算法在大規(guī)模的空間數(shù)據(jù)集中挖掘離群點的效率遠高于傳統(tǒng)算法,離群點的挖掘精度在90%以上。
[Abstract]:As the existing spatial outlier mining algorithms can not meet the needs of large-scale spatial data mining, a distributed spatial outlier mining algorithm is proposed in this paper. Firstly, according to the characteristics of distributed computing and storage on cluster, this paper proposes to divide the data set with space filling curve to find the nearest neighbor of the target point in the approximate space. Secondly, the theory of information entropy is used to define the spatial outlier coefficients. Considering the difference of the influence of different attributes on the outlier coefficients in multidimensional data, the algorithm can automatically calculate the weights of each attribute according to the original characteristics of the data. At the same time, the influence of spatial factors on outliers is defined by inverse distance weight. Finally, the experimental results show that the algorithm is much more efficient than the traditional algorithm in mining outliers in large-scale spatial data sets, and the precision of outlier mining is more than 90%.
【作者單位】： 中國測繪科學研究院;武漢大學;遼寧工程技術大學;
【基金】：測繪地理信息公益性行業(yè)科研專項(201512032,201512027) 中國測繪科學研究院基本科研業(yè)務費項目(7771414)
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 魏藜,宮學慶,錢衛(wèi)寧,周傲英;高維空間中的離群點發(fā)現(xiàn)[J];軟件學報;2002年02期

2 薛安榮;姚林;鞠時光;陳偉鶴;馬漢達;;離群點挖掘方法綜述[J];計算機科學;2008年11期

3 李存華;;l_∞度量意義下的離群點檢測[J];淮海工學院學報(自然科學版);2008年02期

4 封海岳;薛安榮;;基于重疊模塊度的社區(qū)離群點檢測[J];計算機應用與軟件;2013年05期

5 王柏鈞,王力勤;《穩(wěn)健回歸與離群點檢測》介紹[J];成都氣象學院學報;1989年04期

6 黃添強;秦小麟;葉飛躍;;基于方形鄰域的離群點查找新方法[J];控制與決策;2006年05期

7 熊君麗;;高維空間下基于密度的離群點探測算法實現(xiàn)[J];現(xiàn)代電子技術;2006年15期

8 黃添強;秦小麟;王欽敏;;空間離群點的模型與跳躍取樣查找算法[J];中國圖象圖形學報;2006年09期

9 陳光平;葉東毅;;一種改進的離群點檢測方法[J];福州大學學報(自然科學版);2007年03期

10 薛安榮;鞠時光;;基于空間約束的離群點挖掘[J];計算機科學;2007年06期

相關會議論文 前9條

1 張鋒;常會友;;茫然第三方支持的隱私保持離群點探測協(xié)議[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2007年

2 連鳳娜;吳錦林;薛永生;;一種改進的基于距離的離群挖掘算法[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2007年

3 梁雪琴;劉紅生;代秀梅;周亞芬;;聚類離群點挖掘技術在內部審計信息化中的應用——一個來自商業(yè)銀行信用卡審計的實例[A];全國內部審計理論研討優(yōu)秀論文集(2013)[C];2014年

4 于浩;王斌;肖剛;楊曉春;;基于距離的不確定離群點檢測[A];第26屆中國數(shù)據(jù)庫學術會議論文集（A輯）[C];2009年

5 許龍飛;熊君麗;段敏;;基于粗糙集的高維空間離群點發(fā)現(xiàn)算法研究[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2003年

6 劉文遠;李振平;王寶文;裴繼輝;;一種多維數(shù)據(jù)的離群點檢測算法[A];2007年全國第十一屆企業(yè)信息化與工業(yè)工程學術會議論文集[C];2007年

7 魏藜;錢衛(wèi)寧;周傲英;;HOT:尋找高維空間中的離群點[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2001年

8 周紅福;錢衛(wèi)寧;魏藜;周傲英;;EDOLOIS:高效準確的子空間局部離群點發(fā)現(xiàn)[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2003年

9 魏藜;錢衛(wèi)寧;周傲英;;SLOT:基于估計的高效子空間局部離群點發(fā)現(xiàn)[A];第十九屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2002年

相關博士學位論文 前10條

1 楊鵬;離群檢測及其優(yōu)化算法研究[D];重慶大學;2010年

2 林海;離群檢測及離群釋義空間查找算法研究[D];重慶大學;2012年

3 薛安榮;空間離群點挖掘技術的研究[D];江蘇大學;2008年

4 楊茂林;離群檢測算法研究[D];華中科技大學;2012年

5 雷大江;離群檢測與離群釋義算法研究[D];重慶大學;2012年

6 萬家強;基于連通性的離群檢測與聚類研究[D];重慶大學;2014年

7 唐向紅;數(shù)據(jù)流離群點檢測研究[D];華中科技大學;2010年

8 劉靖;復雜數(shù)據(jù)類型的離群檢測方法研究[D];華南理工大學;2014年

9 湯俊;基于可疑金融交易識別的離群模式挖掘研究[D];武漢理工大學;2007年

10 蘇亮;數(shù)據(jù)流分析關鍵技術研究[D];國防科學技術大學;2008年

相關碩士學位論文 前10條

1 韓紅霞;基于距離離群點的分析與研究[D];江蘇大學;2007年

2 黃馨玉;基于鄰域重心變化的離群點檢測算法研究[D];遼寧大學;2015年

3 程百球;基于EP模式的離群點發(fā)現(xiàn)[D];安慶師范學院;2015年

4 歐陽根平;Hadoop云平臺下基于離群點挖掘的入侵檢測技術研究[D];電子科技大學;2015年

5 鄧璇;數(shù)據(jù)流挖掘關鍵技術研究與實現(xiàn)[D];電子科技大學;2015年

6 周瑩瑩;利用離群點檢測改進協(xié)同過濾推薦算法[D];南京郵電大學;2015年

7 張友強;基于選擇性集成學習的離群點檢測研究[D];青島科技大學;2016年

8 關皓文;基于離群點檢測方法的醫(yī)保異常發(fā)現(xiàn)[D];山東大學;2016年

9 朱杰;基于帶時間約束頻繁路徑的離群軌跡檢測[D];蘇州大學;2016年

10 馬菲;局部離群點檢測算法的研究[D];淮北師范大學;2016年

，

本文編號：1971343