隨著技術(shù)的發(fā)展,數(shù)據(jù)的規(guī)模也隨之增長(zhǎng)。通過(guò)各種方法收集的原始數(shù)據(jù)(即非結(jié)構(gòu)化數(shù)據(jù))的指數(shù)增長(zhǎng)迫使公司必須改變其業(yè)務(wù)戰(zhàn)略和運(yùn)營(yíng)方法。越來(lái)越多的公司的收入戰(zhàn)略完全基于在數(shù)據(jù)中獲得的信息和對(duì)數(shù)據(jù)的利用。管理和處理大規(guī)模數(shù)據(jù)集(也被稱為“大數(shù)據(jù)”)需要新的方法和技術(shù),但存儲(chǔ)和分析不斷增長(zhǎng)的數(shù)據(jù)量也帶來(lái)了新的技術(shù)挑戰(zhàn)。支持向量機(jī)分類(lèi)器因其良好的泛化能力而成為機(jī)器學(xué)習(xí)領(lǐng)域中非常強(qiáng)大和被廣泛接受的分類(lèi)器。然而,由于支持向量機(jī)具有較高的計(jì)算復(fù)雜度,不適用于大規(guī)模數(shù)據(jù)集。對(duì)于大型數(shù)據(jù)集,計(jì)算和存儲(chǔ)需求大大增加。本文針對(duì)支持向量機(jī)(SVM)在處理大型數(shù)據(jù)集時(shí)其計(jì)算復(fù)雜度和存儲(chǔ)要求極大地增加等問(wèn)題,通過(guò)實(shí)驗(yàn)對(duì)Hadoop集群下的單節(jié)點(diǎn)SVM和多節(jié)點(diǎn)SVM兩種算法進(jìn)行性能分析,并利用MapReduce編程模型實(shí)現(xiàn),解決了經(jīng)典SVM在處理大規(guī)模數(shù)據(jù)集時(shí)效率低的問(wèn)題。MapReduce是一種適用于大規(guī)模數(shù)據(jù)集的分布式編程模型,它通過(guò)將較大的數(shù)據(jù)集劃分成較小的數(shù)據(jù)塊來(lái)并行處理大規(guī)模數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明,與大型數(shù)據(jù)集的單節(jié)點(diǎn)相比,具有多節(jié)點(diǎn)集群的SVM在處理大規(guī)模數(shù)據(jù)集時(shí)所花費(fèi)的計(jì)算時(shí)間較少,可有效加快訓(xùn)練進(jìn)程。

【文章頁(yè)數(shù)】：46 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 主要研究?jī)?nèi)容
    1.4 論文章節(jié)安排
第2章 支持向量機(jī)
    2.1 線性SVM
    2.2 非線性SVM
    2.3 級(jí)聯(lián)SVM
    2.4 Bagging SVM
    2.5 支持向量機(jī)的特點(diǎn)
    2.6 本章小結(jié)
第3章 Hadoop框架
    3.1 HDFS
    3.2 HDFS優(yōu)點(diǎn)
    3.3 MapReduce
    3.4 Hadoop優(yōu)點(diǎn)
    3.5 本章小結(jié)
第4章 基于Hadoop分布式SVM的設(shè)計(jì)與實(shí)現(xiàn)
    4.1 單機(jī)SVM
    4.2 并行SVM
    4.3 數(shù)據(jù)預(yù)處理
    4.4 基于MapReduce的SVM實(shí)現(xiàn)
        4.4.1 MapReduce編程模型
        4.4.2 Map函數(shù)
        4.4.3 Reduce函數(shù)
        4.4.4 實(shí)現(xiàn)基于MapReduce的并行SVM
    4.5 實(shí)驗(yàn)環(huán)境介紹
        4.5.1 硬件描述
        4.5.2 軟件描述
    4.6 Hadoop平臺(tái)部署及管理
    4.7 實(shí)驗(yàn)結(jié)果與分析
    4.8 本章小結(jié)
第5章 結(jié)論和展望
參考文獻(xiàn)
攻讀學(xué)位期間的研究成果
致謝



本文編號(hào)：3861163