近年來,隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用,行業(yè)應(yīng)用數(shù)據(jù)呈爆炸性增長,全球進(jìn)入到了一個(gè)全新的“大數(shù)據(jù)”時(shí)代,引起業(yè)界、學(xué)術(shù)界和各國政府的高度關(guān)注。大數(shù)據(jù)中往往隱含著很多在小數(shù)據(jù)量時(shí)不具備的深度知識(shí)和價(jià)值,因此大數(shù)據(jù)存儲(chǔ)處理與分析應(yīng)用成為近幾年來的研究熱點(diǎn)。機(jī)器學(xué)習(xí)和數(shù)據(jù)分析是將大數(shù)據(jù)轉(zhuǎn)換成有用知識(shí)的關(guān)鍵技術(shù)。而在大數(shù)據(jù)機(jī)器學(xué)習(xí)處理時(shí),大多數(shù)機(jī)器學(xué)習(xí)和數(shù)據(jù)分析算法都可以表示為矩陣或向量代數(shù)計(jì)算。因而在大數(shù)據(jù)機(jī)器學(xué)習(xí)算法中,矩陣運(yùn)算的性能很大程度上決定了學(xué)習(xí)和分析算法整體的運(yùn)行性能。以深度神經(jīng)網(wǎng)絡(luò)算法為例,大部分的計(jì)算量都花費(fèi)在矩陣乘法上。而大數(shù)據(jù)場景下矩陣運(yùn)算的另一個(gè)技術(shù)難題是,大規(guī)模矩陣運(yùn)算無法基于單機(jī)在可接受的時(shí)間內(nèi)完成,因此,有必要研究實(shí)現(xiàn)基于集群的大規(guī)模分布式矩陣運(yùn)算方法和算法。為此,本文將研究基于大數(shù)據(jù)平臺(tái)的大規(guī)模分布式矩陣運(yùn)算方法和算法,以提高大規(guī)模矩陣運(yùn)算的計(jì)算性能,最終為分布式學(xué)習(xí)系統(tǒng)提供基礎(chǔ)矩陣算法庫支撐。在實(shí)際的大數(shù)據(jù)處理場景中,通常包括稠密矩陣和稀疏矩陣兩大類矩陣。為此,本文首先對(duì)大規(guī)模稠密矩陣相關(guān)運(yùn)算進(jìn)行研究。在分析了Hadoop和Spark等大數(shù)據(jù)平臺(tái)上已... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：89 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的研究內(nèi)容和主要工作
第二章 相關(guān)背景知識(shí)
    2.1 單機(jī)矩陣運(yùn)算庫
    2.2 基于傳統(tǒng)分布式平臺(tái)的矩陣運(yùn)算
    2.3 Spark大數(shù)據(jù)處理平臺(tái)簡介
        2.3.1 Spark概述
        2.3.2 彈性分布式數(shù)據(jù)集RDD
        2.3.3 Spark程序執(zhí)行框架
        2.3.4 Spark的shuffle機(jī)制與依賴關(guān)系
    2.4 矩陣運(yùn)算與機(jī)器學(xué)習(xí)算法
    2.5 本章小結(jié)
第三章 稠密矩陣運(yùn)算方法與算法研究實(shí)現(xiàn)
    3.1 基于Hadoop MapReduce的分布式矩陣乘法策略
    3.2 基于Spark的分布式矩陣乘法策略分析
    3.3 基于Spark的分布式矩陣乘法的實(shí)現(xiàn)與優(yōu)化
        3.3.1 MapMM策略中高效利用本地原生庫
        3.3.2 高效的分布式行矩陣與塊矩陣的轉(zhuǎn)換
        3.3.3 減少矩陣乘法策略中join階段的shuffle數(shù)據(jù)讀寫
    3.4 基于Spark的分布式矩陣間逐元素運(yùn)算實(shí)現(xiàn)與優(yōu)化
    3.5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
        3.5.1 分布式矩陣切分方式與乘法策略性能分析
        3.5.2 分布式矩陣乘法策略的性能對(duì)比
        3.5.3 分布式矩陣乘法優(yōu)化的性能對(duì)比
        3.5.4 分布式矩陣間逐運(yùn)算的性能對(duì)比
    3.6 本章小結(jié)
第四章 稀疏矩陣運(yùn)算方法與算法研究實(shí)現(xiàn)
    4.1 高度稀疏分布式矩陣乘法
    4.2 中度稀疏分布式矩陣乘法的實(shí)現(xiàn)與優(yōu)化
    4.3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
        4.3.1 分布式稀疏-稀疏矩陣乘法運(yùn)算實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
        4.3.2 分布式稠密-稀疏矩陣乘法運(yùn)算實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
    4.4 本章小結(jié)
第五章 大規(guī)模分布式矩陣運(yùn)算庫的設(shè)計(jì)與實(shí)現(xiàn)
    5.1 大規(guī)模分布式矩陣運(yùn)算庫Marlin的設(shè)計(jì)
    5.2 矩陣庫性能對(duì)比實(shí)驗(yàn)
        5.2.1 對(duì)比系統(tǒng)介紹
        5.2.2 基本分布式乘法運(yùn)算的性能對(duì)比
        5.2.3 機(jī)器學(xué)習(xí)算法實(shí)例性能對(duì)比
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來工作
參考文獻(xiàn)
致謝
附錄


【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)機(jī)器學(xué)習(xí)系統(tǒng)研究進(jìn)展[J]. 黃宜華.  大數(shù)據(jù). 2015(01)
[2]高度可伸縮的稀疏矩陣乘法[J]. 吳志川,毛琛,韓蕾,陳立軍.  計(jì)算機(jī)科學(xué)與探索. 2013(11)



本文編號(hào)：2981743