基于高速大數(shù)據(jù)的多義路徑識(shí)別系統(tǒng)研究與實(shí)現(xiàn)
【圖文】:
而將大部分精力投入到業(yè)務(wù)邏輯的設(shè)計(jì)上,MapReduce框架包含控制主節(jié)點(diǎn)、逡逑工作從節(jié)點(diǎn)[24]。主節(jié)點(diǎn)負(fù)責(zé)將用戶(hù)提交的任務(wù)分配到從節(jié)點(diǎn)上去執(zhí)行,從節(jié)點(diǎn)負(fù)逡逑責(zé)執(zhí)行用戶(hù)提交的任務(wù)。MapReduce的處理流程如圖2-2所示。逡逑Client邋I邋submit邋Job一?[邋JobTracker邋]邋assign邋Tasks—n邋TaskScheduler邋]逡逑—task邋list邐^邐J逡逑xK逡逑Heartbeat邋Heartbeat邋Heartbeat逡逑/IX逡逑f邋TaskTracker邋j邋^邋TaskTracker邐〔邋TaskTracker邋〕逡逑圖2-2邋MapReduce處理流程逡逑MapReduce采用分而治之的思想,任務(wù)過(guò)程主要分為Map階段和Reduce階逡逑段,首先從HDFS讀取數(shù)據(jù),進(jìn)行分片,每個(gè)數(shù)據(jù)片Split分配給一個(gè)map任務(wù),逡逑每個(gè)Split中存儲(chǔ)著對(duì)應(yīng)分片的數(shù)據(jù)信息,信息包括文件塊信息、起始位置、數(shù)逡逑據(jù)長(zhǎng)度、所在節(jié)點(diǎn)列表等。在Map階段將一個(gè)大任務(wù)分成多個(gè)子任務(wù)進(jìn)行處理。逡逑把Mapper產(chǎn)生的結(jié)果按照key值進(jìn)行排序并按key值合并,將處理后的數(shù)據(jù)作逡逑為Reduce階段的輸入數(shù)據(jù)。在Reduce階段,將結(jié)果進(jìn)行合并。其中每階段都以逡逑鍵值對(duì)〈key,,邋value〉的數(shù)據(jù)格式作為輸入輸出。MapReduce計(jì)算流程如圖2-3所逡逑不0逡逑Shuffle逡逑Input逡逑I邋邐L逡逑split。邐?邋Map邐少邐.逡逑M邋H邐-I邐邐——^Output逡逑邐邋\
邐Value8邐t2逡逑HBase是主從架構(gòu)&],架構(gòu)如圖2-4所示。逡逑Master逡逑^^^ZooKee^er^邋^逡逑^邐cluster邋_邋)逡逑,邋!邋/邋\逡逑I邐\邐z><:邐、——\逡逑I邐''逡逑RegionserveF-.邐s邐,邋Kegionserver逡逑圖2-4邋HBase體系架構(gòu)逡逑HBase由三種組件構(gòu)成,分別是:逡逑(1)邋HMaster逡逑HBase的主節(jié)點(diǎn),HMaster監(jiān)控RegionServer節(jié)點(diǎn)的服務(wù)器故障,同時(shí)還逡逑負(fù)責(zé)RegionServer節(jié)點(diǎn)間的負(fù)載均衡。逡逑10逡逑
【學(xué)位授予單位】:北方工業(yè)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2019
【分類(lèi)號(hào)】:TP311.13;U495
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 邱民;;高速公路二義性路徑識(shí)別系統(tǒng)應(yīng)用的幾點(diǎn)思考[J];技術(shù)與市場(chǎng);2017年04期
2 關(guān)曉芙;;路徑識(shí)別,兩難的選擇?[J];中國(guó)交通信息產(chǎn)業(yè);2007年05期
3 徐之青;彭利人;李志高;;高速公路路徑識(shí)別技術(shù)的分析與選擇[J];中國(guó)交通信息產(chǎn)業(yè);2007年05期
4 孫會(huì)仁;;基于RFID技術(shù)的高速公路二義性路徑識(shí)別系統(tǒng)設(shè)計(jì)[J];交通建設(shè)與管理;2014年16期
5 鄧洪波;張遠(yuǎn)見(jiàn);李宇輝;浦江;刁穗東;;多義性路徑識(shí)別系統(tǒng)[J];電子產(chǎn)品世界;2006年21期
6 許永存;賀靜;韓豪;;基于5.8G射頻的多路徑識(shí)別技術(shù)應(yīng)用探討[J];中國(guó)交通信息化;2019年02期
7 彭家一;王偉;;高速公路路徑識(shí)別技術(shù)應(yīng)用探討與思考[J];中國(guó)交通信息化;2019年03期
8 馬鑫俊;王握;;面向聯(lián)網(wǎng)收費(fèi)的高速公路路徑識(shí)別方法分析[J];現(xiàn)代鹽化工;2016年04期
9 ;浙江加快二義性路徑識(shí)別系統(tǒng)建設(shè)[J];中國(guó)交通信息產(chǎn)業(yè);2008年12期
10 于江浩;;高速公路聯(lián)網(wǎng)收費(fèi)中多義性路徑識(shí)別技術(shù)探討[J];交通標(biāo)準(zhǔn)化;2009年24期
相關(guān)會(huì)議論文 前8條
1 鄧忠平;;高速公路路徑識(shí)別卡改進(jìn)方案研究[A];《IT時(shí)代周刊》論文專(zhuān)版(第317期)[C];2015年
2 《杭州繞城高速公路路徑識(shí)別方法的研究》課題組;;杭州繞城高速公路路徑識(shí)別方法的研究[A];浙江省公路學(xué)會(huì)2005年年會(huì)論文集[C];2006年
3 鐘勇;;基于雙向通信技術(shù)的RFID技術(shù)多義性路徑識(shí)別系統(tǒng)及其應(yīng)用[A];《IT時(shí)代周刊》論文專(zhuān)版(第300期)[C];2014年
4 石偉;夏志國(guó);;天津高速公路聯(lián)網(wǎng)收費(fèi)二義性路徑識(shí)別技術(shù)開(kāi)發(fā)與應(yīng)用[A];第二屆全國(guó)高速公路機(jī)電養(yǎng)護(hù)管理論壇論文集[C];2013年
5 王明順;沈謀全;;尋跡競(jìng)速機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年
6 錢(qián)兵;周靜;;淺議環(huán)路高速公路聯(lián)網(wǎng)收費(fèi)路徑識(shí)別問(wèn)題[A];湖北省公路學(xué)會(huì)——2004年機(jī)電工程研討會(huì)論文集[C];2004年
7 林樹(shù)亮;;基于DSRC技術(shù)的多義性路徑識(shí)別基站應(yīng)用研究[A];《IT時(shí)代周刊》論文專(zhuān)版(第300期)[C];2014年
8 陳杰;;國(guó)內(nèi)外ETC新技術(shù)發(fā)展和應(yīng)用[A];第四屆全國(guó)高等級(jí)公路機(jī)電養(yǎng)護(hù)管理論壇論文集[C];2015年
相關(guān)重要報(bào)紙文章 前5條
1 本報(bào)記者 錢(qián)民峰;路徑識(shí)別從A到B的N種可能[N];中國(guó)交通報(bào);2014年
2 交信;浙江車(chē)牌路徑識(shí)別系統(tǒng)今年上半年將啟用[N];中國(guó)交通報(bào);2009年
3 吳淑俠;淺論京沈聯(lián)網(wǎng)系統(tǒng)的路徑識(shí)別[N];河北經(jīng)濟(jì)日?qǐng)?bào);2004年
4 龔百曉 本報(bào)記者 徐祖賢;創(chuàng)新發(fā)展邁出新步伐[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2015年
5 本報(bào)記者 梁曉明 吳丹;四川高速公路聯(lián)網(wǎng)收費(fèi)切換至多路徑識(shí)別系統(tǒng)[N];中國(guó)交通報(bào);2011年
相關(guān)博士學(xué)位論文 前2條
1 李進(jìn);視覺(jué)導(dǎo)航智能車(chē)輛的路徑識(shí)別和跟蹤控制[D];合肥工業(yè)大學(xué);2008年
2 劉衛(wèi)朋;焊接機(jī)器人焊接路徑識(shí)別與自主控制方法研究及應(yīng)用[D];河北工業(yè)大學(xué);2016年
相關(guān)碩士學(xué)位論文 前10條
1 路珊;基于高速大數(shù)據(jù)的多義路徑識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D];北方工業(yè)大學(xué);2019年
2 何杰;高速公路多路徑識(shí)別關(guān)鍵技術(shù)研究[D];湖南大學(xué);2016年
3 韓豪;基于5.8G專(zhuān)用短程通信技術(shù)的高速公路多義性路徑識(shí)別系統(tǒng)設(shè)計(jì)[D];長(zhǎng)安大學(xué);2017年
4 張昊;基于RFID的浙江省高速公路聯(lián)網(wǎng)收費(fèi)多義性路徑識(shí)別研究[D];吉林大學(xué);2009年
5 孫凱;高速公路多路徑識(shí)別技術(shù)研究及實(shí)現(xiàn)[D];鄭州大學(xué);2013年
6 藍(lán)新兆;廣東省高速公路多路徑識(shí)別及費(fèi)率縮減問(wèn)題研究[D];華南理工大學(xué);2013年
7 李凌翔;智能割草機(jī)器人路徑識(shí)別、跟蹤與障礙探測(cè)技術(shù)的研究[D];南京理工大學(xué);2005年
8 鄔奇強(qiáng);基于超低功耗雙頻通行IC卡的高速公路多義性路徑識(shí)別應(yīng)用研究[D];華南理工大學(xué);2011年
9 陳良;基于移動(dòng)LBS的高速路網(wǎng)多路徑識(shí)別關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年
10 姜子君;基于LBS的高速公路多路徑識(shí)別系統(tǒng)研究[D];電子科技大學(xué);2012年
本文編號(hào):2659966
本文鏈接:http://www.sikaile.net/kejilunwen/daoluqiaoliang/2659966.html