本文選題：高能物理數(shù)據(jù) + 大數(shù)據(jù)�。� 參考：《計(jì)算機(jī)工程》2015年06期

【摘要】：高能物理對(duì)撞機(jī)產(chǎn)生數(shù)百億計(jì)的物理事例,而物理分析則是從中選取幾千個(gè)有意義的事例,該分析過(guò)程是一個(gè)典型的大數(shù)據(jù)處理及數(shù)據(jù)挖掘應(yīng)用。由此,設(shè)計(jì)高效的數(shù)據(jù)結(jié)構(gòu)、存儲(chǔ)及訪問(wèn)機(jī)制,快速挑選出有意義的物理事例十分重要。介紹事例的數(shù)據(jù)結(jié)構(gòu)、存儲(chǔ)和處理技術(shù),分析高能物理數(shù)據(jù)的特點(diǎn),提出一種以HBase,ROOT,BEAN及Map Reduce為基礎(chǔ)的新型高能物理數(shù)據(jù)存儲(chǔ)及處理技術(shù)系統(tǒng)。利用HBase存儲(chǔ)數(shù)據(jù)、Map Reduce實(shí)現(xiàn)并行處理,選擇ROOT和BEAN作為高能物理分析框架,并給出具體設(shè)計(jì)與實(shí)現(xiàn)方案。測(cè)試結(jié)果表明,與傳統(tǒng)高能物理數(shù)據(jù)存儲(chǔ)系統(tǒng)相比,該系統(tǒng)具有更快的數(shù)據(jù)處理速度,當(dāng)預(yù)篩選服務(wù)生效時(shí)能夠更加有效地利用I/O和CPU資源。
[Abstract]:The high-energy physics collider produces tens of billions of physical examples, and the physical analysis is to select thousands of meaningful examples. The analysis process is a typical application of big data processing and data mining. Therefore, it is very important to design efficient data structures, storage and access mechanisms, and quickly select meaningful physical examples. This paper introduces the data structure, storage and processing technology of examples, analyzes the characteristics of high energy physics data, and puts forward a new high energy physics data storage and processing system based on HBaseROOTBEAN and Map reduce. The parallel processing is realized by using HBase storage data mapReduce. Root and beam are selected as the analysis framework of high energy physics, and the concrete design and implementation scheme are given. The test results show that compared with the traditional high-energy physical data storage system, the system has faster data processing speed and can utilize the I / O and CPU resources more effectively when the pre-filter service becomes effective.
【作者單位】： 中國(guó)科學(xué)院高能物理研究所;中國(guó)科學(xué)院大學(xué);
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(11375223,11375221);國(guó)家自然科學(xué)基金A3前瞻計(jì)劃基金資助項(xiàng)目(61161140454) 國(guó)家自然科學(xué)基金委員會(huì)-中國(guó)科學(xué)院大科學(xué)裝置聯(lián)合基金資助項(xiàng)目(11179020)
【分類號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李亮;;全臺(tái)網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)[J];電視技術(shù);2013年10期

2 鄒青春;;基于云計(jì)算環(huán)境的考試數(shù)據(jù)挖掘算法研究[J];信息安全與技術(shù);2013年07期

3 蘇韋;李景文;劉華堯;張海英;歐陽(yáng)云;;基于MapReduce的時(shí)空數(shù)據(jù)模型設(shè)計(jì)方法[J];測(cè)繪與空間地理信息;2013年07期

4 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉(cāng)庫(kù)研究[J];電子技術(shù)與軟件工程;2013年11期

5 謝峰;;基于Hadoop的云存儲(chǔ)平臺(tái)設(shè)計(jì)研究[J];電子技術(shù)與軟件工程;2013年16期

6 侯青;徐家喜;吉力;;基于Hadoop的校園教育資源管理系統(tǒng)[J];電腦知識(shí)與技術(shù);2014年01期

7 楊關(guān)建;華澤璽;楊彬;;Hadoop平臺(tái)在智能變電站中的應(yīng)用研究[J];電源技術(shù)應(yīng)用;2014年03期

8 陳浩;;一種QL腳本的解析模塊的分析研究[J];電腦知識(shí)與技術(shù);2014年19期

9 李鋮瀚;何利力;劉淳猛;;煙草企業(yè)基于Hadoop的數(shù)據(jù)處理研究[J];工業(yè)控制計(jì)算機(jī);2015年02期

10 崔莉霞;;基于Hadoop的并行聚類算法的研究[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年23期

相關(guān)會(huì)議論文 前1條

1 劉世洪;陳濤;鄭火國(guó);胡海燕;王爍;馬濤;;農(nóng)業(yè)產(chǎn)銷匹配:云環(huán)境下的信息推薦平臺(tái)[A];中國(guó)畜牧獸醫(yī)學(xué)會(huì)信息技術(shù)分會(huì)2014年學(xué)術(shù)研討會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前1條

1 陳思澤;~6LLi(p,γ)~7Be低能反應(yīng)截面的實(shí)驗(yàn)研究[D];中國(guó)科學(xué)院研究生院（近代物理研究所）;2014年

相關(guān)碩士學(xué)位論文 前10條

1 徐風(fēng);移動(dòng)公司云計(jì)算平臺(tái)原型的構(gòu)建與測(cè)試[D];中南大學(xué);2010年

2 廖玉蘭;基于分布式的決策樹(shù)方法研究[D];電子科技大學(xué);2011年

3 王毅;基于Hadoop的Slope One及其改進(jìn)算法實(shí)現(xiàn)[D];西南交通大學(xué);2011年

4 李海波;基于MapReduce框架的分布式網(wǎng)絡(luò)爬行器研究[D];哈爾濱工程大學(xué);2011年

5 李倩;基于MapReduce模型的eMTM三維人體模型生成引擎[D];東華大學(xué);2012年

6 李元洪;基于反饋的動(dòng)態(tài)負(fù)載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2012年

7 李輝;基于云計(jì)算環(huán)境的web結(jié)構(gòu)挖掘算法研究[D];浙江理工大學(xué);2012年

8 劉范范;MapReduce與量子進(jìn)化算法的研究及應(yīng)用[D];安徽大學(xué);2012年

9 喬鴻欣;基于MapReduce的KNN分類算法的研究與實(shí)現(xiàn)[D];北京交通大學(xué);2012年

10 汪晶晶;基于MapReduce的天文數(shù)據(jù)處理方法與應(yīng)用研究[D];昆明理工大學(xué);2012年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 朱曉麗;趙志剛;;一種基于HBase的海量圖片存儲(chǔ)技術(shù)[J];信息系統(tǒng)工程;2013年08期

2 王立峰;;HBase數(shù)據(jù)庫(kù)中大對(duì)象存儲(chǔ)方案的研究[J];電腦知識(shí)與技術(shù);2014年23期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前6條

1 康毅;HBase大對(duì)象存儲(chǔ)方案的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2013年

2 鄒敏昊;基于Lucene的HBase全文檢索功能的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2013年

3 羅燕新;基于HBASE的列存儲(chǔ)壓縮算法的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2011年

4 潘博;基于Hbase、MemcacheQ技術(shù)的民政數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2014年

5 陳志鵬;基于Hbase的并行聚類算法研究及應(yīng)用[D];北京郵電大學(xué);2014年

6 趙磊;基于HBase的本體存儲(chǔ)與查詢的研究[D];華東交通大學(xué);2011年

，

本文編號(hào)：2094938