【摘要】：MapReduce等計(jì)算框架的出現(xiàn)開啟了大數(shù)據(jù)處理新紀(jì)元,以Hadoop,Spark為代表的大數(shù)據(jù)處理系統(tǒng)具有大吞吐率、跨平臺、高可擴(kuò)展的優(yōu)勢,并得到廣泛應(yīng)用.然而,為避免與具體的操作系統(tǒng)、硬件平臺綁定,這些系統(tǒng)的設(shè)計(jì)與優(yōu)化集中在計(jì)算模型、調(diào)度算法等方面,無法充分利用底層平臺的優(yōu)勢.提出了一種基于正交分解的大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與優(yōu)化方法,將系統(tǒng)分解為松耦合的多個功能正交的模塊,使存儲、處理功能分離出來,交給能夠利用底層平臺操作系統(tǒng)甚至硬件資源的存儲、執(zhí)行引擎,原大數(shù)據(jù)系統(tǒng)退化為調(diào)度平臺;進(jìn)而,提出基于鎖無關(guān)機(jī)制的存儲底層優(yōu)化策略和基于指令超級優(yōu)化的執(zhí)行引擎底層優(yōu)化策略.以此為指導(dǎo),以Hadoop作為兼容和改進(jìn)的對象,實(shí)現(xiàn)了原型大數(shù)據(jù)處理系統(tǒng)Arion.Arion既能保持Hadoop的跨平臺、高可擴(kuò)展的優(yōu)勢,又能消除任務(wù)執(zhí)行的瓶頸,其本地化的設(shè)計(jì)與優(yōu)化手段對非Hadoop平臺同樣有效.通過在原型系統(tǒng)上的實(shí)驗(yàn)證明,Arion能夠提升大數(shù)據(jù)處理任務(wù)的執(zhí)行效率,最高達(dá)7.7%.
[Abstract]:The emergence of MapReduce and other computing frameworks has opened a new era for big data processing. Big data processing system, represented by Hadoop,Spark, has the advantages of large throughput, cross-platform, high scalability, and has been widely used. However, in order to avoid binding with specific operating systems and hardware platforms, the design and optimization of these systems are focused on computing models, scheduling algorithms and so on, which can not make full use of the advantages of the underlying platform. In this paper, a design and optimization method of big data processing system based on orthogonal decomposition is proposed. The system is decomposed into loosely coupled multi-functional orthogonal modules so that storage and processing functions can be separated out. To be able to use the underlying platform operating system or even hardware resources storage, execution engine, the original big data system degraded into a scheduling platform; Furthermore, the storage optimization strategy based on lock independent mechanism and the execution engine optimization strategy based on instruction super optimization are proposed. Taking Hadoop as the compatible and improved object, the prototype big data processing system Arion.Arion can not only maintain the advantages of cross-platform, high scalability of Hadoop, but also eliminate the bottleneck of task execution. Its localization design and optimization methods are equally effective for non-Hadoop platforms. The experiments on the prototype system show that Arion can improve the efficiency of big data's task execution, up to 7. 7%.
【作者單位】： 中國科學(xué)院計(jì)算技術(shù)研究所;北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國家自然科學(xué)基金項(xiàng)目(61202061,61202413) 中國科學(xué)院計(jì)算技術(shù)研究所創(chuàng)新課題項(xiàng)目(20146080)~~
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 任倉鈺;尹和平;;測繪數(shù)據(jù)處理系統(tǒng)介紹[J];工程地質(zhì)計(jì)算機(jī)應(yīng)用;2000年02期

2 張建文,湯軍社,李險峰;爐溫均勻性測試數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];機(jī)械與電子;2004年09期

3 陳金剛;舒攀;;高校網(wǎng)上錄取數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];廣西工學(xué)院學(xué)報;2007年02期

4 馬輝;;招生數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報;2009年04期

5 劉育剛;;機(jī)關(guān)事務(wù)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];哈爾濱船舶工程學(xué)院學(xué)報;1986年S1期

6 余粟,徐子遠(yuǎn);社會調(diào)查數(shù)據(jù)處理系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;1987年05期

7 毛楚祥;;大型統(tǒng)計(jì)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)技術(shù)[J];計(jì)算機(jī)工程與應(yīng)用;1988年09期

8 王玉閩，劉繼先;電機(jī)型式試驗(yàn)微機(jī)自動檢測數(shù)據(jù)處理系統(tǒng)的開發(fā)及研制[J];爆炸性環(huán)境電氣防爆技術(shù);1994年02期

9 汪瓏,鐘成,劉建軍,王廷福,孫富立;鐵道部客調(diào)數(shù)據(jù)處理系統(tǒng)[J];鐵路計(jì)算機(jī)應(yīng)用;1994年01期

10 馬曉鵬;“59-701微機(jī)數(shù)據(jù)處理系統(tǒng)”使用中的改進(jìn)[J];陜西氣象;2002年01期

相關(guān)會議論文 前6條

1 朱新河;嚴(yán)新平;蕭漢梁;;計(jì)算機(jī)輔助油液監(jiān)測數(shù)據(jù)處理系統(tǒng)[A];第二屆全國青年摩擦學(xué)學(xué)術(shù)會議論文專輯[C];1993年

2 郭豐宇;;數(shù)據(jù)處理系統(tǒng)的測試與安全性問題[A];第三次全國計(jì)算機(jī)安全技術(shù)交流會論文集[C];1988年

3 劉云生;代一塵;鄧華鋒;;流數(shù)據(jù)處理系統(tǒng)自適應(yīng)機(jī)制研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

4 安艷輝;謝飛;付洪波;;基于CAD平臺的城市部件普查數(shù)據(jù)處理系統(tǒng)研究[A];地理信息與物聯(lián)網(wǎng)論壇暨江蘇省測繪學(xué)會2010年學(xué)術(shù)年會論文集[C];2010年

5 彭宇;鄒向榮;楊悅;;招生數(shù)據(jù)處理系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

6 方超;陳志偉;蔡聰波;陳忠;葉朝輝;;核磁共振數(shù)據(jù)處理系統(tǒng)的開發(fā)[A];第十六屆全國波譜學(xué)學(xué)術(shù)會議論文摘要集[C];2010年

相關(guān)重要報紙文章 前1條

1 魏杰;錄井?dāng)?shù)據(jù)處理系統(tǒng)軟件通過專家評審[N];中國石油報;2004年

相關(guān)碩士學(xué)位論文 前10條

1 安云鳳;基于云計(jì)算的氋鐵數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

2 邱奕煒;桂林市自動氣象站數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 丁鐵凡;基于云計(jì)算的醫(yī)療數(shù)據(jù)處理系統(tǒng)的關(guān)鍵技術(shù)研究[D];華北理工大學(xué);2015年

4 周圣添;商業(yè)銀行審計(jì)信息數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 程轍;基于任務(wù)的海量保險數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2016年

6 蒲來春;北京振沖公司灌漿數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)開發(fā)[D];電子科技大學(xué);2013年

7 段恒;金融數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

8 史雅云;車載導(dǎo)航終端數(shù)據(jù)處理系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2007年

9 莫玲芝;基于混合編程的電化學(xué)實(shí)驗(yàn)數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2010年

10 蘇向陽;電子警察采集數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

，

本文編號：2300606