大數據聚類分析是目前大數據處理中的非常重要的一環(huán),聚類分析就是把屬性相似的數據元素分到一起,不相似的盡可能分開。同一種聚類算法處理不同數據集的效果可能是不盡相同的,有的甚至差別很大。目前有很多關于聚類算法的改進或者并行化的研究,但是針對某一數據集的聚類算法選擇或者k值選擇的問題,研究的相對較少。本文主要研究針對某一數據集的最優(yōu)聚類算法和最佳聚類數目,數據集可以是普通數據集和大數據集。關于普通數據集的算法選擇問題,需要先對部分經典聚類算法進行綜合比較分析,分別包括基于劃分、層次、密度以及模型的聚類算法等;本文選擇多種聚類外部評價指標對算法質量進行驗證,將這些評價數據組成決策矩陣,并用多準則決策模型處理矩陣。對于聚類算法的k值選擇,文章選取部分內部有效性評價指標,然后選取不同的k值組成決策矩陣,使用多準則決策模型處理矩陣。要構建模糊多準則決策模型,首先要確定多種不同的權重確定法,主要包括主觀、客觀和綜合權重確定方法;另外還有模糊數中的語言術語集和直覺模糊集,這些可以用來表示不確定信息;語言術語集可以針對聚類算法的具體特點賦予不同的評價值,組成主觀權重。還有目前較為流行的多準則決策方法,比如... 

【文章來源】：齊魯工業(yè)大學山東省

【文章頁數】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
    1.2 研究目的及意義
    1.3 研究現狀
        1.3.1 聚類算法和評價研究現狀
        1.3.2 模糊多準則決策的研究現狀
    1.4 創(chuàng)新點和技術方案分析
        1.4.1 主要創(chuàng)新點及研究內容
        1.4.2 技術方案分析
第2章 聚類分析相關理論
    2.1 聚類分析的概念
        2.1.1 聚類算法的概念
        2.1.2 大數據的相關概念
    2.2 聚類算法的分類
    2.3 聚類算法比較分析
    2.4 聚類有效性評價方法
        2.4.1 外部有效性評價
        2.4.2 內部有效性評價
    2.5 本章總結
第3章 模糊多準則決策方法
    3.1 多準則決策的概念
    3.2 模糊集的概念
    3.3 MSM算子簡介
        3.3.1 MSM算子
        3.3.2 加權MSM算子
        3.3.3 直覺模糊加權MSM算子
    3.4 權重計算方法
        3.4.1 客觀權重計算
        3.4.2 主觀權重計算
        3.4.3 綜合權重計算
    3.5 多準則決策模型
    3.6 本章總結
第4章 基于模糊多準則決策的最優(yōu)聚類選擇方法
    4.1 最優(yōu)聚類選擇模型
    4.2 模糊多準則決策
        4.2.1 多準則決策模塊
        4.2.2 模糊數的轉換
        4.2.3 語言術語模塊
    4.3 最優(yōu)聚類和K值選擇方法
        4.3.1 最優(yōu)聚類選擇方法
        4.3.2 K值選擇方法
    4.4 實驗結果與分析
        4.4.1 最優(yōu)聚類算法選擇
        4.4.2 最優(yōu)聚類k值選擇
    4.5 本章總結
第5章 基于模糊多準則決策的大數據聚類算法比較研究
    5.1 基于大數據平臺的k-means算法改進
        5.1.1 Spark大數據平臺簡介
        5.1.2 改進的k-means算法及其并行化
    5.2 基于模糊多準則決策的算法比較方法
    5.3 實驗結果與分析
        5.3.1 實驗平臺搭建
        5.3.2 實驗結果分析
        5.3.3 算法比較
    5.4 本章總結
第6章 總結與展望
參考文獻
致謝
在學期間主要科研成果
    一、發(fā)表學術論文
    二、申請發(fā)明專利
    三、參加項目


【參考文獻】：
期刊論文
[1]基于Spark的K-means改進算法的并行化實現[J]. 宋董飛,徐華.  計算機系統(tǒng)應用. 2018(04)
[2]基于猶豫模糊語言術語的供應商多準則群決策研究[J]. 彭建剛,夏光.  工業(yè)工程. 2018(01)
[3]基于數據特性的Spark任務性能優(yōu)化[J]. 柴寧,吳毅堅,趙文耘.  計算機應用與軟件. 2018(01)
[4]K-means算法最佳聚類數評價指標研究[J]. 郭靖,侯蘇.  軟件導刊. 2017(11)
[5]基于數據約減的聚類有效性分析[J]. 于曉,李晨,王亞茹.  傳感器與微系統(tǒng). 2017(03)
[6]一種基于聚類分析與熵權模糊評價的虛擬企業(yè)綜合決策算法研究[J]. 王妮,孫建民,李凱,于天彪,張?zhí)烊?  工業(yè)工程與管理. 2016(03)
[7]基于Spark框架的聚類算法研究[J]. 陳虹君.  電腦知識與技術. 2015(04)
[8]基于網格最小生成樹的聚類算法選擇[J]. 李翔宇,王開軍,郭躬德.  模式識別與人工智能. 2013(01)
[9]基于屬性加權的改進K-Means算法[J]. 陳東,皮德常.  電腦知識與技術. 2009(09)
[10]組合賦權法新探[J]. 曾憲報.  預測. 1997(05)

博士論文
[1]基于多目標決策的數據挖掘方法評估與應用[D]. 鄔文帥.電子科技大學 2015
[2]基于多目標決策的數據挖掘模型選擇研究[D]. 王國勛.電子科技大學 2013
[3]基于模糊多屬性決策的企業(yè)信息化水平評價方法與應用研究[D]. 劉培德.北京交通大學 2010

碩士論文
[1]基于Spark的機器學習模型分析與研究[D]. 侯敬儒.昆明理工大學 2017
[2]基于Spark平臺的CURE算法并行化設計與應用[D]. 邱榮財.華南理工大學 2014



本文編號：3288876