近年來,隨著科技的進步與發(fā)展,數(shù)據(jù)采集終端數(shù)量的上升,人們不可避免的會在日常工作與生活當(dāng)中面對數(shù)量龐大、種類繁多的數(shù)據(jù)信息。人們?nèi)绾翁幚砼c利用這些海量數(shù)據(jù)也決定了人們在生產(chǎn)生活中的決策行為將不再是基于過去的經(jīng)驗與直覺,而是轉(zhuǎn)變?yōu)橥ㄟ^對相應(yīng)數(shù)據(jù)進行數(shù)據(jù)處理,從而得到在海量數(shù)據(jù)指導(dǎo)下的策略選擇。大數(shù)據(jù)處理系統(tǒng)作為大數(shù)據(jù)技術(shù)中的重要研究內(nèi)容,通過不同數(shù)據(jù)架構(gòu)以及數(shù)據(jù)處理算法來滿足不同業(yè)務(wù)類型的大數(shù)據(jù)存儲以及處理要求,具有重要的研究意義�，F(xiàn)有成果從不同方面對大數(shù)據(jù)的存儲以及處理提出了不同的解決方法,但仍有不足。例如,大數(shù)據(jù)的數(shù)據(jù)量雖然巨大,但是針對某一產(chǎn)業(yè)或某一方面的大數(shù)據(jù)具有一定的數(shù)據(jù)特征,如今的數(shù)據(jù)處理系統(tǒng)并未充分利用這些特征,也無法利用大數(shù)據(jù)之間的特征關(guān)系進行數(shù)據(jù)處理,難以優(yōu)化整個大數(shù)據(jù)處理系統(tǒng)。1.本文在對大數(shù)據(jù)處理系統(tǒng)的關(guān)鍵技術(shù)進行構(gòu)想與研究的基礎(chǔ)上,首先采用Hadoop架構(gòu)來搭建系統(tǒng)實驗平臺。通過操作Map Reduce模型預(yù)留出的Map映射函數(shù)接口完成針對數(shù)據(jù)采集終端數(shù)據(jù)的粗處理過程,再根據(jù)Map函數(shù)的輸出結(jié)果調(diào)用相應(yīng)的Reduce函數(shù)完成大數(shù)據(jù)的規(guī)約化處理,從而挖掘出相應(yīng)海量數(shù)... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學(xué)位級別】：碩士

【部分圖文】：

MapReduce處理流程

垂直以及水平劃分算法示意圖

30圖 3.2 垂直以及水平劃分算法示意圖圖 3.3 社區(qū)結(jié)構(gòu)劃分算法示意圖3.3.4 PI-MR 模型適用性分析目前針對于高維數(shù)據(jù)以及圖數(shù)據(jù)的數(shù)據(jù)挖掘算法均可以歸結(jié)為 GIM-V[50]運算，例如 PageRank 網(wǎng)絡(luò)權(quán)威值算法、隨機行走算法、直徑預(yù)估算法等。對于給定的一個圖數(shù)據(jù)結(jié)構(gòu) G(V,E)，令M 為一個 n× n的矩陣，用來表示圖 G 的鄰接表；令V 表示長度為 n 的向量，用來存儲 n 個頂點的初始數(shù)據(jù)值。針對高位數(shù)據(jù)以及

【參考文獻】：
期刊論文
[1]Hadoop平臺中的MapReduce模型及優(yōu)化[J]. 楊朝輝,康磊.  信息技術(shù)與信息化. 2017(12)
[2]基于云計算平臺Hadoop的并行k-means聚類算法設(shè)計研究[J]. 李莉.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(12)
[3]MapReduce并行化壓縮近鄰算法[J]. 翟俊海,郝璞,王婷婷,張明陽.  小型微型計算機系統(tǒng). 2017(12)
[4]基于MapReduce的空間數(shù)據(jù)并行劃分算法[J]. 付艷麗,吳艷民,張金標(biāo),鄭坤,趙長虹,鄭康,方發(fā)林.  測繪通報. 2017(11)
[5]基于云計算的海量網(wǎng)絡(luò)流量數(shù)據(jù)分析處理研究[J]. 周瑩.  電子測試. 2017(19)
[6]大數(shù)據(jù)下基于MapReduce的Dirichlet樸素貝葉斯文本分類算法[J]. 胡曉東,高嘉偉.  科技通報. 2017(09)
[7]MapReduce Based Parallel Bayesian Network for Manufacturing Quality Control[J]. Mao-Kuan Zheng,Xin-Guo Ming,Xian-Yu Zhang,Guo-Ming Li.  Chinese Journal of Mechanical Engineering. 2017(05)
[8]基于MapReduce的分布式改進隨機森林學(xué)生就業(yè)數(shù)據(jù)分類模型研究[J]. 喬非,葛彥昊,孔維暢.  系統(tǒng)工程理論與實踐. 2017(05)
[9]一種基于MapReduce的大數(shù)據(jù)集相似自連接算法[J]. 孫德才,王曉霞.  計算機科學(xué). 2017(05)
[10]基于MapReduce模型的推測執(zhí)行優(yōu)化算法[J]. 黃中平,白光偉,沈航,承驍,華志翔.  計算機科學(xué). 2017(04)



本文編號：3122691