【摘要】：本文詳細介紹一種基于分布式內(nèi)存的通信數(shù)據(jù)管理平臺,可以有效支持針對通信數(shù)據(jù)的實時處理以及在線查詢分析任務.首先,通過對分布式技術(shù)、內(nèi)存技術(shù)進行分析,依據(jù)通信業(yè)務的特點進行技術(shù)選型;然后,基于高性能的分布式內(nèi)存計算環(huán)境,設計、實現(xiàn)針對通信數(shù)據(jù)的實時處理與在線查詢分析平臺;最后,利用內(nèi)存技術(shù)對平臺實現(xiàn)方案進行技術(shù)優(yōu)化.實驗結(jié)果表明,基于內(nèi)存的分布式計算系統(tǒng)在查詢響應速度、實時數(shù)據(jù)處理效率、系統(tǒng)資源利用率以及數(shù)據(jù)吞吐量上較基于硬盤的系統(tǒng)較大的性能提升.
[Abstract]:In this paper, a communication data management platform based on distributed memory is introduced in detail, which can effectively support real-time processing of communication data and on-line query and analysis task. First of all, through the analysis of distributed technology and memory technology, according to the characteristics of the communication business, the technology selection is carried out; then, based on the high-performance distributed memory computing environment, the design, Finally, the realization of real-time processing of communication data and online query and analysis platform; finally, the platform implementation scheme is optimized by using memory technology. The experimental results show that the performance of the memory based distributed computing system is better than that of the hard-disk system in terms of query response speed, real-time data processing efficiency, system resource utilization and data throughput.
【作者單位】： 華東師范大學軟件學院;華東師范大學數(shù)據(jù)科學與工程學院;
【基金】：國家自然科學基金(61103039);國家自然科學基金重點項目(61232002) 武漢大學重點實驗室開放基金(SKLSE2012-09-16)
【分類號】：TP333

【共引文獻】

相關期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關鍵技術(shù)[J];信息技術(shù)與標準化;2013年10期

2 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學學報;2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學院學報;2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學院學報;2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應用[J];桂林電子科技大學學報;2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計算環(huán)境下排序算法的性能分析[J];重慶大學學報;2014年04期

9 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預測[J];北京郵電大學學報;2014年S1期

10 劉瓊;趙榮;孫立堅;;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進算法[J];測繪科學;2014年05期

相關博士學位論文 前10條

1 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學;2013年

2 韓晶;大數(shù)據(jù)服務若干關鍵技術(shù)研究[D];北京郵電大學;2013年

3 程祥;高效可靠的虛擬網(wǎng)絡映射技術(shù)研究[D];北京郵電大學;2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關鍵技術(shù)研究[D];重慶大學;2013年

5 盧風順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關鍵技術(shù)研究[D];國防科學技術(shù)大學;2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關鍵技術(shù)研究[D];中國鐵道科學研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學;2013年

8 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學;2013年

9 馬馮;數(shù)據(jù)密集型計算環(huán)境下貝葉斯網(wǎng)的學習、推理及應用[D];云南大學;2013年

10 韓海雯;MapReduce計算任務調(diào)度的資源配置優(yōu)化研究[D];華南理工大學;2013年

相關碩士學位論文 前10條

1 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學;2013年

2 張丹;HDFS中文件存儲優(yōu)化的相關技術(shù)研究[D];南京師范大學;2013年

3 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應用[D];南京信息工程大學;2013年

4 趙洪昌;云計算下的關聯(lián)分析和模糊聚類研究[D];南京信息工程大學;2013年

5 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學;2013年

6 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關鍵技術(shù)研究[D];河南大學;2013年

7 但光祥;云計算環(huán)境下混合加密算法研究與實現(xiàn)[D];重慶大學;2013年

8 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學;2013年

9 程偉;海量信令并行即時分析系統(tǒng)的研究與設計[D];中國海洋大學;2013年

10 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學;2013年

【相似文獻】

相關期刊論文 前10條

1 郇義鵬,虞水俊;利用API攔截技術(shù)實現(xiàn)串口通信數(shù)據(jù)攔截[J];計算機應用;2003年11期

2 沈國珍;;干擾下航空通信數(shù)據(jù)結(jié)構(gòu)彈性魯棒性檢測方法[J];計算機仿真;2014年07期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關碩士學位論文 前1條

1 顧霞;網(wǎng)絡通信數(shù)據(jù)中的隱寫技術(shù)研究[D];南京理工大學;2006年

，

本文編號：2268945