【摘要】：本文圍繞大數(shù)據(jù)分類中決策數(shù)據(jù)的管理和分析進(jìn)行展開.重點(diǎn)分析了大數(shù)據(jù)時(shí)代關(guān)于商務(wù)智能(Business Intelligence,BI)技術(shù)新的應(yīng)用需求;討論了計(jì)算機(jī)硬件和體系結(jié)構(gòu)的發(fā)展為決策數(shù)據(jù)管理和分析帶來的挑戰(zhàn)和機(jī)遇;通過對新興典型應(yīng)用的分析和相關(guān)技術(shù)和系統(tǒng)特點(diǎn)的總結(jié),說明了基于內(nèi)存計(jì)算的高性能數(shù)據(jù)管理和分析技術(shù)是當(dāng)前亟待解決的問題,具有廣闊的應(yīng)用前景.在全內(nèi)存式(in-memory)數(shù)據(jù)管理環(huán)境下,網(wǎng)絡(luò)通訊將成為整個(gè)系統(tǒng)的主要瓶頸.結(jié)合內(nèi)存的特點(diǎn)(數(shù)據(jù)易失性、內(nèi)存墻瓶頸),設(shè)計(jì)針對高性能服務(wù)器的無共享分布式內(nèi)存系統(tǒng)拓?fù)浣Y(jié)構(gòu);研究面向異構(gòu)、多層次緩存和內(nèi)存結(jié)構(gòu)的分布式數(shù)據(jù)布局與索引策略,跨核、跨處理器、跨服務(wù)器的多粒度并行處理框架,緩存感知、內(nèi)存感知的分布式數(shù)據(jù)一致性維護(hù)等關(guān)鍵技術(shù),輕量級面向按列存儲的數(shù)據(jù)壓縮機(jī)制及壓縮感知的數(shù)據(jù)處理機(jī)制,將是基于內(nèi)存計(jì)算的高性能數(shù)據(jù)管理與分析技術(shù)的重點(diǎn)研究內(nèi)容,并將最終實(shí)現(xiàn)實(shí)時(shí)交互式分析處理.
[Abstract]:This paper focuses on the management and analysis of decision data in big data classification. This paper analyzes the new application requirements of business intelligence (Business Intelligence,BI) technology in big data's time, discusses the challenges and opportunities brought by the development of computer hardware and architecture for decision data management and analysis. By analyzing the typical emerging applications and summarizing the characteristics of related technologies and systems, it is shown that the high performance data management and analysis technology based on memory computing is an urgent problem to be solved and has a broad application prospect. In the in-memory data management environment, network communication will become the main bottleneck of the whole system. Combined with the characteristics of memory (data volatility, memory wall bottleneck), the topology of non-shared distributed memory system for high performance server is designed. This paper studies distributed data layout and index strategy for heterogeneous, multi-level cache and memory structure, multi-granularity parallel processing framework for cross-core, cross-processor and cross-server, cache awareness. Key technologies such as memory aware distributed data consistency maintenance, lightweight data compression mechanism for column storage and data processing mechanism for compression awareness, It will be the key research content of high performance data management and analysis technology based on memory computing, and will finally realize real-time interactive analysis and processing.
【作者單位】： 電子科技集團(tuán)第三十二研究所;華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院;
【基金】：國家自然科學(xué)重點(diǎn)項(xiàng)目(61332006)
【分類號】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃濤;王晶;王克義;;一種降低末級高速緩存污染的分階段自適應(yīng)動(dòng)態(tài)插入策略[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年02期

2 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學(xué)學(xué)報(bào);2014年02期

3 王振;王雷;王宇;;基于虛擬磁盤塊存儲的分布式文件系統(tǒng)研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S2期

4 呂方;崔慧敏;霍瑋;馮曉兵;;面向并發(fā)性能下降的調(diào)度策略的綜述[J];計(jì)算機(jī)研究與發(fā)展;2014年01期

5 黃濤;王晶;管雪濤;鐘祺;王克義;;采用分區(qū)域管理的軟硬件協(xié)作高能效末級高速緩存設(shè)計(jì)[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2013年11期

6 房俊華;王翰虎;陳梅;馬丹;;DB-Tree:一種高性能的閃存數(shù)據(jù)庫索引結(jié)構(gòu)[J];計(jì)算機(jī)應(yīng)用與軟件;2013年11期

7 陳荔城;陳明宇;阮元;黃永兵;崔澤漢;盧天越;包云崗;;MIMS:Towards a Message Interface Based Memory System[J];Journal of Computer Science & Technology;2014年02期

8 范菁;熊麗榮;徐聰;;分布式企業(yè)服務(wù)總線平臺數(shù)據(jù)集成研究及應(yīng)用[J];計(jì)算機(jī)科學(xué);2014年02期

9 Hong-yan LI;Nai-xue XIONG;Ping HUANG;Chao GUI;;PASS: a simple, efficient parallelism-aware solid state drive I/O scheduler[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年05期

10 李麗;張宇昂;傅玉祥;潘紅兵;韓峰;鄭維山;;三維眾核片上處理器存儲架構(gòu)研究[J];南京大學(xué)學(xué)報(bào)(自然科學(xué));2014年03期

相關(guān)博士學(xué)位論文 前10條

1 聶鵬程;多核處理器上的操作系統(tǒng)調(diào)度[D];西安電子科技大學(xué);2013年

2 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

3 唐富年;面向語義正確性的集成數(shù)據(jù)訪問方法研究[D];國防科學(xué)技術(shù)大學(xué);2012年

4 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

5 侯寧;嵌入式多核處理器設(shè)計(jì)與實(shí)現(xiàn)關(guān)鍵技術(shù)研究[D];合肥工業(yè)大學(xué);2012年

6 蔡勇;基于GPU的車身結(jié)構(gòu)接觸碰撞過程并行計(jì)算方法[D];湖南大學(xué);2013年

7 柏曉輝;基于Pt/TiO_(2-x)/TiO_2/TiO_(2+x)/Pt雙擴(kuò)展憶阻器研究[D];黑龍江大學(xué);2014年

8 林宇斐;大規(guī)模并行計(jì)算通信可擴(kuò)展性—分析、優(yōu)化與模擬[D];國防科學(xué)技術(shù)大學(xué);2013年

9 王昊奮;面向大規(guī)模RDF數(shù)據(jù)的語義搜索[D];上海交通大學(xué);2013年

10 張忠貴;市政公用基礎(chǔ)設(shè)施時(shí)空信息集成管理技術(shù)研究[D];中國地質(zhì)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

2 楊勇;異構(gòu)多核SoC中存儲與轉(zhuǎn)置結(jié)構(gòu)研究[D];合肥工業(yè)大學(xué);2013年

3 何小春;Web信息挖掘服務(wù)平臺及數(shù)據(jù)備份技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2012年

4 牛琪鍇;基于閃存的海量非關(guān)系存儲方法研究[D];哈爾濱工業(yè)大學(xué);2012年

5 王宏燕;高性能CPU存儲控制器優(yōu)化設(shè)計(jì)[D];國防科學(xué)技術(shù)大學(xué);2012年

6 陳遠(yuǎn)斌;面向信息共享的數(shù)據(jù)集成技術(shù)應(yīng)用研究[D];哈爾濱工程大學(xué);2013年

7 張世軍;銀行績效考核系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2013年

8 黃品豐;面向異構(gòu)處理器的代價(jià)模型及存儲優(yōu)化技術(shù)研究[D];解放軍信息工程大學(xué);2013年

9 項(xiàng)莉;工會組織建設(shè)統(tǒng)計(jì)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

10 葉春鵬;大理州扶貧辦扶貧項(xiàng)目網(wǎng)上評審信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

，

本文編號：2337395