無線電監(jiān)測產(chǎn)生了海量的頻譜監(jiān)測數(shù)據(jù),但缺乏智能化、自動化的數(shù)據(jù)處理分析手段。聚類算法是重要的大數(shù)據(jù)挖掘算法,本文設(shè)計實現(xiàn)了基于Hadoop的CTK聚類算法,使其適用于分布式、海量的無線電監(jiān)測數(shù)據(jù)的分析和計算。通過實驗將其應(yīng)用于無線電監(jiān)測頻譜數(shù)據(jù)分析后,可在廣播頻段發(fā)現(xiàn)"黑廣播",為無線電監(jiān)測大數(shù)據(jù)處理的自動化和智能化提供思路。

【文章頁數(shù)】：4 頁

【部分圖文】：

圖1 MapReduce工作原理圖

MapReduce是一種核心思想，來源于Google論文《MapReducesimplifieddataprocessingonlargeclusters》的編程模型，基本思想是把一個復(fù)雜的問題分解成處理子集的子問題，對子問題分別進行處理（Map），然后把子問題處理后....

圖2 CTK算法整體流程圖

基于Canopy的二次聚類算法簡稱CTK算法，是在分析傳統(tǒng)各類聚類算法優(yōu)缺點的基礎(chǔ)上，取長補短，提出的一種改進的基于層次的聚類算法。CTK算法流程圖如圖2所示。CTK算法的基本流程主要包括兩個階段：第一個階段主要是對整個數(shù)據(jù)集合進行Canopy聚類產(chǎn)生若干Canopy中心，將其作....

圖3 CTK算法的MapReduce框架圖

CTK算法在Hadoop上的并行化實現(xiàn)分為兩個階段和四個MapReduce過程，其具體實現(xiàn)結(jié)構(gòu)框架如圖3所示。算法中的第一個階段選擇初始聚類中心采用一個MapReduce過程來實現(xiàn)。第二個階段的聚類使用三個MapReduce過程來實現(xiàn)。第一個過程即MapReduce1，目的是計算....

本文編號：4026878