伴隨著信息與通信技術(shù)的高速發(fā)展,全球數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)。如何對(duì)海量復(fù)雜的數(shù)據(jù)進(jìn)行有效分析,挖掘?qū)崿F(xiàn)其中潛在價(jià)值并合理利用,是當(dāng)前的重要課題之一。在語(yǔ)音識(shí)別、圖像理解、自然語(yǔ)言處理、視頻推薦等數(shù)據(jù)處理及應(yīng)用領(lǐng)域,深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法,而且已引發(fā)了突破性的變革。深度學(xué)習(xí)的蓬勃發(fā)展使得各行業(yè)對(duì)深度學(xué)習(xí)的使用需要越加迫切。然而深度學(xué)習(xí)對(duì)于普通行業(yè)使用者而言使用門檻相對(duì)較高,既需要大量的時(shí)間成本用于學(xué)習(xí)使用及復(fù)雜的底層模型編寫,又需要大量的計(jì)算服務(wù)器等硬件成本用于搭建深度學(xué)習(xí)框架�；谏鲜龅难芯勘尘凹艾F(xiàn)狀,本文設(shè)計(jì)并實(shí)現(xiàn)了基于深度學(xué)習(xí)的大數(shù)據(jù)分析預(yù)測(cè)系統(tǒng),旨在支持深度學(xué)習(xí)使用、降低使用者使用成本與操作復(fù)雜性。首先本文調(diào)研現(xiàn)有的大數(shù)據(jù)與深度學(xué)習(xí)相關(guān)的處理框架與有關(guān)技術(shù),結(jié)合對(duì)系統(tǒng)設(shè)計(jì)場(chǎng)景、功能需求、性能需求等分析,設(shè)計(jì)提出了包含數(shù)據(jù)吸收、系統(tǒng)框架、算法模型、集成組件、服務(wù)應(yīng)用的五層整體架構(gòu),為系統(tǒng)具體實(shí)現(xiàn)奠定基礎(chǔ)。接著對(duì)大數(shù)據(jù)分析預(yù)測(cè)系統(tǒng)中的各功能模塊的具體設(shè)計(jì)與實(shí)現(xiàn)目標(biāo)進(jìn)行了詳細(xì)介紹。此外,本文為提升系統(tǒng)中所使用算法模型的訓(xùn)練效率,對(duì)于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究分析,并... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

HDFS節(jié)點(diǎn)組織架構(gòu)圖

：?；？?．：??Ｊ３ｖＳ／?Ｆ?…二■．廠＇?Ｉ?：＾＾５２Ｓ５ＳＢｉ??Ｉｂｈｒｈｈｈｒ?ＩｈｍＨＨＩ?ＲＨＨｆｌＨＲ??圖２－１?ＨＤＦＳ節(jié)點(diǎn)組織架構(gòu)圖??散存儲(chǔ)于各ＤａｔａＮｏｄｅ節(jié)點(diǎn)，每個(gè)存儲(chǔ)的文件塊的元數(shù)據(jù)信息則將存儲(chǔ)于ＮａｍｅＮｏｄｅ??以供定位存儲(chǔ)文件塊。用戶進(jìn)行ＨＤＦＳ的數(shù)據(jù)存取操作時(shí)，通過(guò)ＨＤＦＳ中的客戶端??機(jī)器節(jié)點(diǎn)與ＮａｍｅＮｏｄｅ節(jié)點(diǎn)進(jìn)行通信來(lái)進(jìn)一步數(shù)據(jù)交互操作。??當(dāng)用戶進(jìn)行數(shù)據(jù)寫入操作時(shí)如圖２－２所示，首先通過(guò)ＨＤＦＳ客戶端節(jié)點(diǎn)創(chuàng)新虛擬??文件系統(tǒng)與對(duì)應(yīng)服務(wù)器集群的ＮａｍｅＮｏｄｅ節(jié)點(diǎn)通信以創(chuàng)建一個(gè)沒有任何文件塊關(guān)聯(lián)??的新數(shù)據(jù)文件及其元數(shù)據(jù)信息，并獲取得到可以進(jìn)行數(shù)據(jù)存儲(chǔ)的ＤａｔａＮｏｄｅ節(jié)點(diǎn)列??表。接著通過(guò)ＨＤＦＳ客戶端節(jié)點(diǎn)將寫入的文件內(nèi)容輸入文件寫入本地緩沖區(qū)。當(dāng)緩??沖區(qū)內(nèi)容大小達(dá)到ＨＤＦＳ的文件塊大小時(shí)，再與接收得到的ＤａｔａＮｏｄｅ節(jié)點(diǎn)列表中的??某一?ＤａｔａＮｏｄｅ節(jié)點(diǎn)進(jìn)行通信，并將溢寫發(fā)送至該節(jié)點(diǎn)。該ＤａｔａＮｏｄｅ節(jié)點(diǎn)每接收一??

第二章相關(guān)技術(shù)研究綜述??個(gè)數(shù)據(jù)文件塊完成時(shí)，將遵守ＨＤＦＳ默認(rèn)的３副本模式，與另一個(gè)ＤａｔａＮｏｄｅ節(jié)點(diǎn)進(jìn)??行通信并傳輸該文件塊，同時(shí)下一?ＤａｔａＮｏｄｅ節(jié)點(diǎn)也將重復(fù)此操作。這一機(jī)制通過(guò)冗??余存儲(chǔ)保證了?ＨＤＦＳ數(shù)據(jù)存儲(chǔ)服務(wù)的高容錯(cuò)和高可靠性，是ＨＤＦＳ中重要的一部分。??而當(dāng)用戶進(jìn)行數(shù)據(jù)讀取操作時(shí)如圖２－３所示，也首先通過(guò)ＨＤＦＳ客戶端節(jié)點(diǎn)創(chuàng)新??擬文件系統(tǒng)與對(duì)應(yīng)服務(wù)器集群的ＮａｍｅＮｏｄｅ節(jié)點(diǎn)通信，獲取得到該數(shù)據(jù)文件所對(duì)??的元數(shù)據(jù)信息，包含數(shù)據(jù)文件的各文件塊所在ＤａｔａＮｏｄｅ節(jié)點(diǎn)及其中存儲(chǔ)位置。接??通過(guò)ＨＤＦＳ客戶端節(jié)點(diǎn)直接與包含對(duì)應(yīng)數(shù)據(jù)文件塊三副本中任一?ＤａｔａＮｏｄｅ節(jié)點(diǎn)進(jìn)??通信獲取數(shù)據(jù)文件塊。ＨＤＦＳ客戶端節(jié)點(diǎn)接收完該文件的全部文件塊再重組形成??始文件信息傳輸給用戶。??

【參考文獻(xiàn)】：
期刊論文
[1]基于并行卷積神經(jīng)網(wǎng)絡(luò)的軍事目標(biāo)圖像分類技術(shù)[J]. 張春雷.  電子設(shè)計(jì)工程. 2019(08)
[2]卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法的FPGA并行結(jié)構(gòu)設(shè)計(jì)[J]. 王巍,周凱利,王伊昌,王廣,楊正琳,袁軍.  微電子學(xué)與計(jì)算機(jī). 2019(04)
[3]基于訓(xùn)練數(shù)據(jù)動(dòng)態(tài)分配的深度學(xué)習(xí)并行優(yōu)化機(jī)制[J]. 顏?zhàn)咏?陳孟強(qiáng),吳維剛.  計(jì)算機(jī)工程與科學(xué). 2018(S1)
[4]基于Spark的并行化協(xié)同深度推薦模型[J]. 賈曉光.  計(jì)算機(jī)工程與應(yīng)用. 2018(14)
[5]基于Caffe的嵌入式多核處理器深度學(xué)習(xí)框架并行實(shí)現(xiàn)[J]. 高榕,張良,梅魁志.  西安交通大學(xué)學(xué)報(bào). 2018(06)
[6]深度神經(jīng)網(wǎng)絡(luò)并行化研究綜述[J]. 朱虎明,李佩,焦李成,楊淑媛,侯彪.  計(jì)算機(jī)學(xué)報(bào). 2018(08)
[7]深度學(xué)習(xí)相關(guān)研究綜述[J]. 張軍陽(yáng),王慧麗,郭陽(yáng),扈嘯.  計(jì)算機(jī)應(yīng)用研究. 2018(07)
[8]基于深度學(xué)習(xí)的并行負(fù)荷預(yù)測(cè)方法[J]. 盧杏堅(jiān),高小征.  自動(dòng)化與信息工程. 2017(04)
[9]深度學(xué)習(xí)框架和加速技術(shù)探討[J]. 余偉豪,李忠,安建琴,宋奕瑤.  軟件. 2017(06)
[10]深度學(xué)習(xí)框架下LSTM網(wǎng)絡(luò)在短期電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J]. 陳亮,王震,王剛.  電力信息與通信技術(shù). 2017(05)

碩士論文
[1]卷積神經(jīng)網(wǎng)絡(luò)算法及應(yīng)用研究[D]. 趙井飛.沈陽(yáng)航空航天大學(xué) 2018



本文編號(hào)：3575706