近年來隨著大數(shù)據和云計算的迅速發(fā)展,在互聯(lián)網等方面源源不斷地產生大量的數(shù)據流。學者們?yōu)榱双@取并分析這些領域的數(shù)據流中隱含的大量的有用信息,為此對數(shù)據流挖掘領域展開了深入研究。然而,靜態(tài)數(shù)據與數(shù)據流并不完全相同,數(shù)據流的特點是快速性、連續(xù)性、多變性、無限性等。特點的不同決定了數(shù)據流挖掘算法并不能完全沿用傳統(tǒng)的數(shù)據挖掘算法。不僅如此,數(shù)據流中會產生概念漂移現(xiàn)象即數(shù)據的分布會隨著時間的變化而隨之變化,這一現(xiàn)象無形中對數(shù)據流挖掘也造成了巨大的難度。與靜態(tài)數(shù)據相同的是,數(shù)據流中也存在類不均衡現(xiàn)象,這些都是流挖掘過程中不得不面對和迫切需要解決的重點和難點問題。因此,本文主要圍繞以上問題,對數(shù)據流中的概念漂移現(xiàn)象和類不均衡問題展開深入研究,其主要的工作內容包括:針對數(shù)據流中概念漂移問題,本章介紹了基于數(shù)據分布的概念漂移檢測算法,主要分為概念漂移檢測模塊和概念重現(xiàn)檢測模塊。該算法不僅能處理數(shù)據流中的概念漂移現(xiàn)象,還可以檢測到重現(xiàn)概念問題。首先利用概念漂移檢測算法檢測出數(shù)據流中的概念漂移問題,然后在概念重現(xiàn)模塊中解決重現(xiàn)漂移的問題。最后在數(shù)據流機器學習實驗分析平臺MOA上對該算法進行大量驗證與分析。結果... 

【文章來源】：重慶郵電大學重慶市

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【部分圖文】：

概念漂移類型

重慶郵電大學碩士學位論文2. 緩慢型概念漂移(Gradual Concept Drift)：指當數(shù)據流中概念發(fā)生了變化，但變化非常緩慢且幅度小的現(xiàn)象，例如車輛輪胎的磨損程度，若模型不考慮輪磨損，會使車輛的使用壽命大大降低。如圖 2.2(b)所示。3. 尖峰(Blip)：指表示數(shù)據流的特有時間。數(shù)據流中的尖峰和靜態(tài)數(shù)據中的離有點相似，都是隨機出現(xiàn)的，一般都要經過數(shù)據處理。例如，詐騙短信，欺易及異常入侵等。如圖 2.2(c)所示。4. 噪聲(Noise)：噪聲與概念漂移并沒有直接的關系，只是噪聲數(shù)據在數(shù)據流的過程中不被處理的話會對模型的分類精度產生較大的影響，導致模型分析不準確。而噪聲多是在傳輸過程中產生的，導致數(shù)據會相比于原來有所偏倚 2.2(d)所示。

重現(xiàn)漂移

【參考文獻】：
期刊論文
[1]一種不平衡數(shù)據流集成分類模型[J]. 歐陽震諍,羅建書,胡東敏,吳泉源.  電子學報. 2010(01)



本文編號：3228080