本文關鍵詞：基于Hadoop平臺的并行特征匹配算法研究　出處：《計算機應用研究》2014年11期 　論文類型：期刊論文

  更多相關文章： 分布式文件系統(tǒng) 大數(shù)據(jù) 特征匹配 并行掃描

【摘要】：很多大企業(yè)采用Hadoop分布式文件系統(tǒng)來存儲海量數(shù)據(jù),而傳統(tǒng)的病毒掃描主要針對單機系統(tǒng)環(huán)境。研究如何并行化病毒掃描中的核心特征匹配算法來處理分布式海量數(shù)據(jù)。在Hadoop平臺下,基于MapReduce并行編程模型來實現(xiàn)大數(shù)據(jù)高效的病毒掃描,特別是針對Hadoop處理海量小文件效率低的問題,通過將小文件合并,再利用索引來提高海量小文件的處理效率。實驗結果表明,提出的并行特征匹配算法可以顯著降低處理時間,適用于大數(shù)據(jù)的病毒掃描。
[Abstract]:Many large enterprises use Hadoop distributed file system to store massive data. Traditional virus scanning is mainly aimed at single computer system environment. This paper studies how to parallelize the core feature matching algorithm in virus scanning to deal with distributed mass data. In the Hadoop platform. Based on the parallel programming model of MapReduce to realize big data's efficient virus scanning, especially to solve the problem of low efficiency of Hadoop processing large amount of small files, by merging small files. The experimental results show that the proposed parallel feature matching algorithm can significantly reduce the processing time and is suitable for big data's virus scanning.
【作者單位】： 北京信息科技大學計算機學院;北京信息科技大學網(wǎng)絡文化與數(shù)字傳播北京市重點實驗室;
【基金】：北京市優(yōu)秀人才培養(yǎng)資助項目(2012D005007000009) 北京信息科技大學網(wǎng)絡文化與數(shù)字傳播北京市重點實驗室開放課題(ICDD201306) 北京市屬高等學校創(chuàng)新團隊建設與教師職業(yè)發(fā)展計劃項目(IDHT20130519)
【分類號】：TP333
【正文快照】： 0引言隨著互聯(lián)網(wǎng)的快速發(fā)展,各種移動終端的迅速增加,使得企業(yè)需要處理的數(shù)據(jù)量越來越大。分布式文件系統(tǒng)成了很多企業(yè)用來存儲海量數(shù)據(jù)的工具,其中HDFS(Hadoop distributedfile system)[1],即Hadoop[2]分布式文件系統(tǒng)是被大家廣泛認可的分布式文件系統(tǒng)之一,可以較好地解決海

【參考文獻】

相關期刊論文 前4條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)[J];計算機研究與發(fā)展;2012年S1期

2 趙衛(wèi)中;馬慧芳;傅燕翔;史忠植;;基于云計算平臺Hadoop的并行k-means聚類算法設計研究[J];計算機科學;2011年10期

3 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機應用與軟件;2012年11期

4 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學學報;2011年06期

【共引文獻】

相關期刊論文 前10條

1 董屹;王昆鵬;;云存儲在數(shù)字圖書館中的應用[J];電腦知識與技術;2013年09期

2 李亮;;全臺網(wǎng)環(huán)境下的云視頻素材轉碼系統(tǒng)的設計[J];電視技術;2013年10期

3 張媛;;基于Hadoop云平臺的數(shù)據(jù)傳輸保護研究[J];甘肅聯(lián)合大學學報(自然科學版);2013年05期

4 鐘銳;劉立剛;;基于Map-Reduce的FP-Growth算法研究[J];贛南師范學院學報;2013年06期

5 趙建光;;云計算環(huán)境下并行分布式數(shù)據(jù)挖掘平臺研究[J];電腦開發(fā)與應用;2014年07期

6 吳晨;朱慶;張葉廷;許偉平;;基于混合瓦片的海量DEM/DOM數(shù)據(jù)高效存儲管理方法——以應急救災數(shù)據(jù)庫為例[J];地理信息世界;2014年03期

7 唐世慶;李云龍;田鳳明;胡海榮;;基于Hadoop的云計算與存儲平臺研究與實現(xiàn)[J];四川兵工學報;2014年08期

8 費賢舉;王樹鋒;王文;;一種海量大數(shù)據(jù)云存儲系統(tǒng)框架設計[J];常州工學院學報;2014年03期

9 宋玲;戚云楓;齊東陽;;分布式k-means聚類算法的改進[J];廣西大學學報(自然科學版);2014年05期

10 趙盈穎;;Hadoop在海量數(shù)據(jù)分析中的應用[J];硅谷;2014年21期

相關會議論文 前2條

1 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺設計[A];第七屆中國智能交通年會優(yōu)秀論文集——智能交通應用[C];2012年

2 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技術與信息系統(tǒng)國際會議論文集[C];2013年

相關博士學位論文 前2條

1 楊永全;飲食健康中的食物體積估算云計算技術研究[D];中國海洋大學;2013年

2 鄭曉峰;道路運輸信息系統(tǒng)的數(shù)據(jù)挖掘方法研究與應用[D];華南理工大學;2014年

相關碩士學位論文 前10條

1 林旭;云存儲中的數(shù)據(jù)刪除技術研究[D];上海交通大學;2011年

2 張喜;海量數(shù)據(jù)存儲模式的研究[D];廣東工業(yè)大學;2012年

3 苗苗苗;數(shù)據(jù)挖掘中海量數(shù)據(jù)處理算法的研究與實現(xiàn)[D];西安建筑科技大學;2012年

4 童明;基于HDFS的分布式存儲研究與應用[D];華中科技大學;2012年

5 廖松有;模糊C均值與K均值聚類算法及其并行化[D];太原科技大學;2013年

6 李禮;面向云計算的知識共享服務支持系統(tǒng)研究[D];武漢紡織大學;2013年

7 劉曉娟;省地縣一體化電力調度管理系統(tǒng)通用權限方案[D];大連理工大學;2013年

8 錢進進;私有云安全存儲技術的研究與實現(xiàn)[D];廣東工業(yè)大學;2013年

9 王雅光;基于Hadoop平臺的DBSCAN算法應用研究[D];廣東工業(yè)大學;2013年

10 朱巖;Hadoop云存儲策略的研究與優(yōu)化[D];廣東工業(yè)大學;2013年

【二級參考文獻】

相關期刊論文 前5條

1 馬立平;統(tǒng)計數(shù)據(jù)標準化──無量綱化方法──現(xiàn)代統(tǒng)計分析方法的學與用(三)[J];北京統(tǒng)計;2000年03期

2 李俊,李勇;聯(lián)邦式異構數(shù)據(jù)庫應用系統(tǒng)的集成框架和實現(xiàn)技術的研究[J];計算機應用研究;2001年04期

3 余華鴻;李穎;張玉川;;數(shù)據(jù)倉庫概述[J];科技信息(科學教研);2007年13期

4 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

5 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學學報;2009年08期

【相似文獻】

相關期刊論文 前10條

1 閆興美,陳樹中;一種快速的圖象特征匹配算法[J];計算機工程與科學;2001年04期

2 梁矗軍;華艷;;一種基于松弛特征關聯(lián)的3D人臉多特征匹配算法[J];科技通報;2012年12期

3 牛斌;王慶;沈微微;黃秋鳳;張晗s，

本文編號：1384230