發(fā)布時(shí)間：2017-08-28 08:23

  本文關(guān)鍵詞：物聯(lián)網(wǎng)環(huán)境下基于上下文的Hadoop大數(shù)據(jù)處理系統(tǒng)模型

  更多相關(guān)文章： 大數(shù)據(jù) 物聯(lián)網(wǎng) Hadoop 上下文鄰域系統(tǒng) 上下文隊(duì)列

【摘要】：針對(duì)物聯(lián)網(wǎng)環(huán)境下異構(gòu)大數(shù)據(jù)處理實(shí)時(shí)性低的問題,探討了基于Hadoop框架實(shí)現(xiàn)數(shù)據(jù)處理與持久化的方法,提出了一種基于"上下文"的Hadoop大數(shù)據(jù)處理系統(tǒng)模型HDS,HDS利用Hadoop框架完成數(shù)據(jù)并行處理與持久化,將物聯(lián)網(wǎng)環(huán)境下異構(gòu)數(shù)據(jù)抽象為"上下文"作為HDS處理對(duì)象;并提出了"上下文距離""上下文鄰域系統(tǒng)(CNS)"的定義;對(duì)于Hadoop框架本身數(shù)據(jù)處理實(shí)時(shí)性不高的問題,HDS在設(shè)計(jì)上增加了"上下文隊(duì)列(CQ)"作為輔助存儲(chǔ)來提高數(shù)據(jù)處理實(shí)時(shí)性;利用"上下文"的時(shí)空特性,建立了用戶請(qǐng)求"上下文鄰域系統(tǒng)"對(duì)任務(wù)進(jìn)行重組。以成品油配送車輛調(diào)度問題為例,利用MapReduce并行實(shí)驗(yàn)對(duì)HDS的數(shù)據(jù)處理與實(shí)時(shí)性能進(jìn)行了驗(yàn)證與分析。實(shí)驗(yàn)結(jié)果表明,在物聯(lián)網(wǎng)環(huán)境下,HDS不僅在大數(shù)據(jù)處理性能上較傳統(tǒng)單點(diǎn)處理模型(SDS)具有明顯優(yōu)勢,在實(shí)驗(yàn)環(huán)境中10臺(tái)服務(wù)器的情況下,其計(jì)算性能能夠超過SDS 200倍以上;同時(shí)也驗(yàn)證了CQ作為輔助存儲(chǔ)能夠有效提高數(shù)據(jù)處理實(shí)時(shí)性,在10臺(tái)服務(wù)器環(huán)境下,其數(shù)據(jù)處理實(shí)時(shí)性能夠提高270倍以上。
【作者單位】： 西南交通大學(xué)交通運(yùn)輸與物流學(xué)院;西南交通大學(xué)全國鐵路列車運(yùn)行圖編制研發(fā)培訓(xùn)中心;
【關(guān)鍵詞】： 大數(shù)據(jù) 物聯(lián)網(wǎng) Hadoop 上下文鄰域系統(tǒng) 上下文隊(duì)列
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61273242,61403317) 中國鐵路總公司科技研究計(jì)劃項(xiàng)目(2013X006-A,2013X014-G,2013X010-A,2014X004-D)
【分類號(hào)】：TP391.44;TN929.5;TP311.13
【正文快照】： 0引言物聯(lián)網(wǎng)是指通過射頻識(shí)別、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)連接起來,進(jìn)行信息交換與通信,以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。數(shù)據(jù)是物聯(lián)網(wǎng)應(yīng)用的核心內(nèi)容,能否對(duì)其進(jìn)行有效管理是制約物聯(lián)網(wǎng)發(fā)展

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前9條

1 張友根;吳玲達(dá);鄧維;宋漢辰;;融合時(shí)空上下文的手繪筆畫圖文分類[J];電子與信息學(xué)報(bào);2013年01期

2 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時(shí)空數(shù)據(jù)模型設(shè)計(jì)方法[J];測繪與空間地理信息;2013年07期

3 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

4 鄭笛;王俊;賁可榮;;支持上下文感知的構(gòu)件適配模型研究[J];計(jì)算機(jī)工程;2012年02期

5 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計(jì)算編程模型[J];計(jì)算機(jī)工程與科學(xué);2011年03期

6 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應(yīng)用研究[J];微型機(jī)與應(yīng)用;2010年08期

7 戚銘堯;丁國祥;周游;繆立新;;一種基于時(shí)空距離的帶時(shí)間窗車輛路徑問題算法[J];交通運(yùn)輸系統(tǒng)工程與信息;2011年01期

8 黃哲學(xué);曹付元;李俊杰;陳小軍;;面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究[J];網(wǎng)絡(luò)新媒體技術(shù);2012年06期

9 王曉軍;孫惠;;基于MapReduce的多路連接優(yōu)化方法研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年06期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 何文娜;大數(shù)據(jù)時(shí)代基于物聯(lián)網(wǎng)和云計(jì)算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 高飛;張琦;李澤強(qiáng);;基于云計(jì)算技術(shù)的影視節(jié)目版權(quán)交易云平臺(tái)的構(gòu)建[J];廣播與電視技術(shù);2012年07期

2 王偉;;大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生漫談[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年07期

3 李亮;;全臺(tái)網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)[J];電視技術(shù);2013年10期

4 鄒青春;;基于云計(jì)算環(huán)境的考試數(shù)據(jù)挖掘算法研究[J];信息安全與技術(shù);2013年07期

5 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時(shí)空數(shù)據(jù)模型設(shè)計(jì)方法[J];測繪與空間地理信息;2013年07期

6 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉庫研究[J];電子技術(shù)與軟件工程;2013年11期

7 謝峰;;基于Hadoop的云存儲(chǔ)平臺(tái)設(shè)計(jì)研究[J];電子技術(shù)與軟件工程;2013年16期

8 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

9 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

10 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 邱紅艷;李波;王運(yùn)發(fā);;基于模糊相似度的動(dòng)態(tài)配送調(diào)度聚類方法[A];第六屆（2011）中國管理學(xué)年會(huì)——管理科學(xué)與工程分會(huì)場論文集[C];2011年

2 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[A];第七屆中國智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

3 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技術(shù)與信息系統(tǒng)國際會(huì)議論文集[C];2013年

4 高飛;張琦;李澤強(qiáng);;基于云計(jì)算技術(shù)的影視節(jié)目版權(quán)交易云平臺(tái)的構(gòu)建[A];中國新聞技術(shù)工作者聯(lián)合會(huì)2013年學(xué)術(shù)年會(huì)、五屆五次理事會(huì)暨第六屆“王選新聞科學(xué)技術(shù)獎(jiǎng)”和優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)大會(huì)論文集（廣電篇）[C];2013年

5 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會(huì)議論文集[C];2014年

7 劉世洪;陳濤;鄭火國;胡海燕;王爍;馬濤;;農(nóng)業(yè)產(chǎn)銷匹配:云環(huán)境下的信息推薦平臺(tái)[A];中國畜牧獸醫(yī)學(xué)會(huì)信息技術(shù)分會(huì)2014年學(xué)術(shù)研討會(huì)論文集[C];2014年

8 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

9 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

10 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 何文娜;大數(shù)據(jù)時(shí)代基于物聯(lián)網(wǎng)和云計(jì)算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

2 劉翔;面向移動(dòng)計(jì)算的WEB中間件關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

3 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

4 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

5 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

6 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

7 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

8 孫鵬;動(dòng)車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

9 肖奎;維基百科大數(shù)據(jù)的知識(shí)挖掘與管理方法研究[D];武漢大學(xué);2013年

10 程興國;仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐風(fēng);移動(dòng)公司云計(jì)算平臺(tái)原型的構(gòu)建與測試[D];中南大學(xué);2010年

2 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學(xué);2011年

3 王毅;基于Hadoop的Slope One及其改進(jìn)算法實(shí)現(xiàn)[D];西南交通大學(xué);2011年

4 陳勃;基于Nutch的企業(yè)搜索引擎的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 李海波;基于MapReduce框架的分布式網(wǎng)絡(luò)爬行器研究[D];哈爾濱工程大學(xué);2011年

6 李倩;基于MapReduce模型的eMTM三維人體模型生成引擎[D];東華大學(xué);2012年

7 李元洪;基于反饋的動(dòng)態(tài)負(fù)載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2012年

8 劉永;云計(jì)算環(huán)境下虛擬機(jī)資源調(diào)度策略研究[D];山東師范大學(xué);2012年

9 李佳桐;上下文感知Web服務(wù)組合的動(dòng)態(tài)演化技術(shù)研究[D];大連海事大學(xué);2012年

10 李輝;基于云計(jì)算環(huán)境的web結(jié)構(gòu)挖掘算法研究[D];浙江理工大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫其博;劉杰;黎，

本文編號(hào)：747528