本文關(guān)鍵詞：基于聚類算法的大數(shù)據(jù)樣本集優(yōu)化的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：大數(shù)據(jù)已成為繼云計(jì)算之后信息技術(shù)領(lǐng)域中研究熱點(diǎn)之一。如何有效的分析和處理這些呈爆炸式增長(zhǎng)的數(shù)據(jù)并提取其中有價(jià)值的信息,是當(dāng)前亟待解決的問題。然而,現(xiàn)有的數(shù)據(jù)挖掘算法在處理如此巨量的數(shù)據(jù)信息時(shí)往往存在很大的局限性,不僅會(huì)消耗大量的物理資源,并且獲得挖掘結(jié)果的質(zhì)量也不高。針對(duì)這些問題,降低數(shù)據(jù)規(guī)模、對(duì)數(shù)據(jù)進(jìn)行抽樣分析是解決該問題的有效途徑之一。當(dāng)數(shù)據(jù)增加到一定規(guī)模時(shí),其中所蘊(yùn)含的知識(shí)和模式并不是成指數(shù)增長(zhǎng),而是逐漸趨于平穩(wěn),所以如何通過(guò)抽樣算法在降低數(shù)據(jù)規(guī)模的同時(shí)保證原數(shù)據(jù)的分布特點(diǎn),使更多的數(shù)據(jù)挖掘算法能夠應(yīng)用于大數(shù)據(jù)的分析處理,具有很重要的研究意義。本文首先對(duì)數(shù)據(jù)挖掘中抽樣算法的國(guó)內(nèi)外研究成果進(jìn)行了匯總,通過(guò)對(duì)這些成果的深入研究,發(fā)現(xiàn)了當(dāng)前數(shù)據(jù)挖掘中抽樣算法的特性以及存在的問題。一方面,傳統(tǒng)的抽樣算法雖然能夠解決數(shù)據(jù)規(guī)模問題,但是當(dāng)數(shù)據(jù)集并不是均勻分布時(shí),就可能導(dǎo)致抽樣效率低、樣本代表性差等問題。另一方面,也有很多數(shù)據(jù)挖掘算法是采取將抽樣算法融入自身的算法改進(jìn)中來(lái)應(yīng)對(duì)大數(shù)據(jù)問題,然而這種算法改進(jìn)只針對(duì)自身算法有效而不能適用于其他算法,存在一定的局限性。針對(duì)上述問題,本文提出了一種基于聚類算法的大數(shù)據(jù)抽樣算法BKMS。首先對(duì)大數(shù)據(jù)的聚類方法進(jìn)行了分析,然后對(duì)聚類算法中的K-means算法進(jìn)行深入研究,針對(duì)K-means算法對(duì)初始聚類中心敏感的缺陷提出了一種改進(jìn)策略。通過(guò)計(jì)算每個(gè)候選點(diǎn)臨域內(nèi)所有數(shù)據(jù)點(diǎn)的重心作為初始聚類中心,旨在選取的每個(gè)初始聚類中心相距較遠(yuǎn)避免算法陷入局部最優(yōu),使得聚類結(jié)果更加全面準(zhǔn)確。同時(shí)引入MapReduce并行處理框架對(duì)算法進(jìn)行實(shí)現(xiàn),使算法更快更高效。在此基礎(chǔ)上提出了抽樣算法BKMS,該算法基于改進(jìn)的K-means算法將數(shù)據(jù)進(jìn)行分類,并引入最優(yōu)樣本容量的確定方法,在大數(shù)據(jù)環(huán)境下,對(duì)每一類別的數(shù)據(jù)分別進(jìn)行抽取,在降低問題規(guī)模的同時(shí)能夠保證數(shù)據(jù)信息的分布特點(diǎn)。最后對(duì)算法進(jìn)行了驗(yàn)證分析,實(shí)驗(yàn)結(jié)果表明本文提出的抽樣方法能夠抽取到更具有代表性的樣本集,并且具有更少的運(yùn)行時(shí)間。
【關(guān)鍵詞】：大數(shù)據(jù) 抽樣 K-means MapReduce
【學(xué)位授予單位】：長(zhǎng)春工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要3-4
• ABSTRACT4-7
• 第一章 緒論7-11
• 1.1 研究背景及意義7-8
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀8-9
• 1.3 論文主要研究工作及章節(jié)分配9-11
• 1.3.1 主要研究工作9-10
• 1.3.2 論文章節(jié)分配10-11
• 第二章 相關(guān)理論研究11-21
• 2.1 經(jīng)典抽樣體系11-14
• 2.1.1 抽樣的基本理論11-13
• 2.1.2 簡(jiǎn)單隨機(jī)抽樣13
• 2.1.3 分層抽樣13
• 2.1.4 密度偏差抽樣13-14
• 2.2 抽樣算法在數(shù)據(jù)挖掘中的應(yīng)用14-15
• 2.3 經(jīng)典聚類算法15-18
• 2.3.1 聚類技術(shù)基本理論15-16
• 2.3.2 K-means算法16-17
• 2.3.3 DENCLUE算法17
• 2.3.4 EM算法17-18
• 2.4 大規(guī)模數(shù)據(jù)集聚類算法18-20
• 2.4.1 基于特征概括的方法18-19
• 2.4.2 基于抽樣的方法19-20
• 2.4.3 基于分布式平臺(tái)的算法20
• 2.5 本章小結(jié)20-21
• 第三章 基于聚類算法的樣本集提取算法BKMS21-29
• 3.1 算法架構(gòu)設(shè)計(jì)21-24
• 3.2 理論基礎(chǔ)24-25
• 3.3 算法描述25-27
• 3.3.1 算法思想25
• 3.3.2 算法過(guò)程25-27
• 3.4 算法分析27-28
• 3.5 本章小結(jié)28-29
• 第四章 實(shí)驗(yàn)驗(yàn)證及分析29-36
• 4.1 實(shí)驗(yàn)環(huán)境29
• 4.2 實(shí)驗(yàn)數(shù)據(jù)29
• 4.3 實(shí)驗(yàn)結(jié)論及分析29-35
• 4.4 本章小結(jié)35-36
• 第五章 總結(jié)與展望36-37
• 5.1 本文工作總結(jié)36
• 5.2 下一步研究工作36-37
• 致謝37-38
• 參考文獻(xiàn)38-41
• 作者簡(jiǎn)介41
• 攻讀碩士學(xué)位期間研究成果41

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 馮舜璽;;新書推薦:《算法分析導(dǎo)論》[J];計(jì)算機(jī)教育;2006年05期

2 張力,慕曉冬;計(jì)算機(jī)算法分析淺談[J];武警工程學(xué)院學(xué)報(bào);2002年04期

3 馬安光;;飛彈問題的算法分析——2003年第10期題解[J];程序員;2003年12期

4 蘇運(yùn)霖;;《算法分析導(dǎo)論》評(píng)介[J];計(jì)算機(jī)教育;2006年07期

5 朱力強(qiáng);;培養(yǎng)學(xué)生創(chuàng)新思維與能力的算法分析案例[J];計(jì)算機(jī)與信息技術(shù);2007年11期

6 汪菊琴;;幾種常見特殊方陣的算法分析與實(shí)現(xiàn)[J];無(wú)錫職業(yè)技術(shù)學(xué)院學(xué)報(bào);2009年05期

7 李涵;;“算法分析與設(shè)計(jì)”課程教學(xué)改革和實(shí)踐[J];中國(guó)電力教育;2010年16期

8 劉寧;管濤;;淺析案例教學(xué)法在算法分析與設(shè)計(jì)課程中的應(yīng)用[J];科技風(fēng);2011年07期

9 胡峰;王國(guó)胤;;“算法分析與設(shè)計(jì)”教學(xué)模式探索[J];當(dāng)代教育理論與實(shí)踐;2011年12期

10 趙娟;;淺析啟發(fā)式教學(xué)法在《算法分析與設(shè)計(jì)》課程中的應(yīng)用[J];福建電腦;2012年06期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 俞洋;田亞菲;;一種新的變步長(zhǎng)LMS算法及其仿真[A];通信理論與信號(hào)處理新進(jìn)展——2005年通信理論與信號(hào)處理年會(huì)論文集[C];2005年

2 周顥;劉振華;趙保華;;構(gòu)造型的D~2FA生成算法[A];中國(guó)通信學(xué)會(huì)通信軟件技術(shù)委員會(huì)2009年學(xué)術(shù)會(huì)議論文集[C];2009年

3 賴桃桃;馮少榮;張東站;;一種基于劃分和密度的快速聚類算法[A];第二十五屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（一）[C];2008年

4 劉遠(yuǎn)新;鄧飛其;羅艷輝;舒添慧;;ERP柔性平臺(tái)下物流運(yùn)輸配送系統(tǒng)算法分析[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年

5 王樹西;白碩;姜吉發(fā);;模式合一的“減首去尾”算法[A];第二屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2004年

6 王萬(wàn)青;張曉輝;;改進(jìn)的A~*算法的高效實(shí)現(xiàn)[A];2009全國(guó)測(cè)繪科技信息交流會(huì)暨首屆測(cè)繪博客征文頒獎(jiǎng)?wù)撐募痆C];2009年

7 孫煥良;邱菲;劉俊嶺;朱葉麗;;IncSNN——一種基于密度的增量聚類算法[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

8 韓建民;岑婷婷;于娟;;實(shí)現(xiàn)敏感屬性l-多樣性的l-MDAV算法[A];第二十七屆中國(guó)控制會(huì)議論文集[C];2008年

9 張悅;尤楓;趙瑞蓮;;利用蟻群算法實(shí)現(xiàn)基于程序結(jié)構(gòu)的主變?cè)治鯷A];第五屆中國(guó)測(cè)試學(xué)術(shù)會(huì)議論文集[C];2008年

10 王旭東;劉渝;鄧振淼;;正弦波頻率估計(jì)的修正Rife算法及其FPGA實(shí)現(xiàn)[A];全國(guó)第十屆信號(hào)與信息處理、第四屆DSP應(yīng)用技術(shù)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 科文;VIXD算法分析Web異常[N];中國(guó)計(jì)算機(jī)報(bào);2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 魏哲學(xué);樣本斷點(diǎn)距離問題的算法與復(fù)雜性研究[D];山東大學(xué);2015年

2 劉春明;基于增強(qiáng)學(xué)習(xí)和車輛動(dòng)力學(xué)的高速公路自主駕駛研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

3 張敏霞;生物地理學(xué)優(yōu)化算法及其在應(yīng)急交通規(guī)劃中的應(yīng)用研究[D];浙江工業(yè)大學(xué);2015年

4 李紅;流程挖掘算法研究[D];云南大學(xué);2015年

5 盛歆漪;粒子群優(yōu)化算法及其應(yīng)用研究[D];江南大學(xué);2015年

6 黃磊;高動(dòng)態(tài)環(huán)境捷聯(lián)慣導(dǎo)信號(hào)處理及高精度姿態(tài)速度算法研究[D];南京航空航天大學(xué);2015年

7 劉新旺;多核學(xué)習(xí)算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

8 于濱;城市公交系統(tǒng)模型與算法研究[D];大連理工大學(xué);2006年

9 曾國(guó)強(qiáng);改進(jìn)的極值優(yōu)化算法及其在組合優(yōu)化問題中的應(yīng)用研究[D];浙江大學(xué);2011年

10 肖永豪;蜂群算法及在圖像處理中的應(yīng)用研究[D];華南理工大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 黃廈;基于改進(jìn)蟻群算法的柔性作業(yè)車間調(diào)度問題研究[D];昆明理工大學(xué);2015年

2 李平;基于Hadoop的信息爬取與輿情檢測(cè)算法研究[D];昆明理工大學(xué);2015年

3 趙官寶;基于位表的關(guān)聯(lián)規(guī)則挖掘算法研究[D];昆明理工大學(xué);2015年

4 殷文華;移動(dòng)容遲網(wǎng)絡(luò)中基于社會(huì)感知的多播分發(fā)算法研究[D];內(nèi)蒙古大學(xué);2015年

5 徐翔燕;人工魚群優(yōu)化算法及其應(yīng)用研究[D];西南交通大學(xué);2015年

6 李德福;基于小世界模型的啟發(fā)式尋路算法研究[D];華中師范大學(xué);2015年

7 鄭海彬;一種面向MAPREDUCE的DATASHUFFLE的優(yōu)化方法[D];蘇州大學(xué);2015年

8 趙曉寒;輪換步長(zhǎng)PSO算法及SMVSC參數(shù)優(yōu)化[D];沈陽(yáng)理工大學(xué);2015年

9 安豐洋;基于無(wú)線網(wǎng)絡(luò)的廣播算法研究[D];曲阜師范大學(xué);2015年

10 李智明;基于改進(jìn)FastICA算法的混合語(yǔ)音盲分離[D];上海交通大學(xué);2015年

  本文關(guān)鍵詞：基于聚類算法的大數(shù)據(jù)樣本集優(yōu)化的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：301817