發(fā)布時間：2018-04-30 14:43

  本文選題：Hadoop + 開源生態(tài)系統(tǒng)�。� 參考：《計算機研究與發(fā)展》2017年01期

【摘要】：大規(guī)模數(shù)據(jù)的收集和處理是近年的研究熱點,業(yè)界已經(jīng)提出了若干平臺級的設(shè)計方案,大量使用了開源軟件作為數(shù)據(jù)收集和處理組件.然而,要真正滿足企業(yè)應(yīng)用中海量數(shù)據(jù)存儲、多樣化業(yè)務(wù)處理、跨業(yè)務(wù)分析、跨環(huán)境部署等復(fù)雜需求,尚需設(shè)計具有完整性、通用性、支持整個數(shù)據(jù)生命周期管理的大數(shù)據(jù)平臺,并且對開源軟件進行大量的功能開發(fā)、定制和改進.從小米公司的行業(yè)應(yīng)用和實踐出發(fā),在深入研究現(xiàn)有平臺的基礎(chǔ)上,提出了一種新的基于開源生態(tài)系統(tǒng)的大數(shù)據(jù)收集與處理平臺,在負載均衡、故障恢復(fù)、數(shù)據(jù)壓縮、多維調(diào)度等方面進行了大量優(yōu)化,同時發(fā)現(xiàn)并解決了現(xiàn)有開源軟件在數(shù)據(jù)收集、存儲、處理以及軟件一致性、可用性和效率等方面的缺陷.該平臺已經(jīng)在小米公司成功部署,為小米公司各個業(yè)務(wù)線的數(shù)據(jù)收集和處理提供支撐服務(wù).
[Abstract]:Large-scale data collection and processing is a hot research topic in recent years. Several platform-level design schemes have been proposed in the industry. Open source software is widely used as a data collection and processing component. However, in order to truly meet the complex requirements of mass data storage, diversified business processing, cross-service analysis, cross-environment deployment and other complex requirements in enterprise applications, it is still necessary to design integrality and versatility. Big data platform supports the whole data lifecycle management, and develops, customizes and improves the open source software. Based on the industry application and practice of Xiaomi Company, a new collection and processing platform of big data based on open source ecosystem is proposed on the basis of deep research on the existing platform, which can be used in load balancing, fault recovery, data compression. At the same time, the shortcomings of existing open source software in data collection, storage, processing, software consistency, availability and efficiency are found and solved. The platform has been successfully deployed at Xiaomi to support data collection and processing across its lines of business.
【作者單位】： 武漢大學(xué)計算機學(xué)院;小米科技有限責(zé)任公司;軟件工程國家重點實驗室(武漢大學(xué));
【基金】：國家自然科學(xué)基金項目(91118003,61373039,61170022)~~
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 大邑;;開放數(shù)據(jù)平臺是打開“智慧城市”的鑰匙[J];計算機光盤軟件與應(yīng)用;2013年15期

2 陳強;立足國情 提供統(tǒng)一數(shù)據(jù)平臺的整體解決方案與服務(wù)[J];CAD/CAM與制造業(yè)信息化;2002年07期

3 丘劍,李德明;廣電網(wǎng)絡(luò)數(shù)據(jù)平臺的設(shè)想與實現(xiàn)[J];東莞理工學(xué)院學(xué)報;2004年04期

4 韓宏,梁向東;我國省級衛(wèi)生監(jiān)督執(zhí)法數(shù)據(jù)平臺建設(shè)的基本構(gòu)想[J];中國衛(wèi)生監(jiān)督雜志;2005年03期

5 周琴芳;;實現(xiàn)精確營銷——本地業(yè)務(wù)數(shù)據(jù)平臺建設(shè)思路[J];每周電腦報;2006年15期

6 聶靖松;李維銘;邸瑞華;;主題數(shù)據(jù)平臺[J];計算機與信息技術(shù);2007年06期

7 臧鐵軍;;高可用的數(shù)據(jù)平臺是信息化建設(shè)的基石[J];中國教育信息化;2009年15期

8 陸寧;劉成;;煉化企業(yè)應(yīng)用數(shù)據(jù)平臺的設(shè)計與應(yīng)用[J];中國科技信息;2010年23期

9 李響;;微軟發(fā)布新一代私有云及數(shù)據(jù)平臺[J];石油工業(yè)計算機應(yīng)用;2012年02期

10 夏蕾;;基于手機短信功能的數(shù)據(jù)平臺分析與應(yīng)用[J];電子制作;2012年11期

相關(guān)會議論文 前10條

1 ;普光氣田安全評價數(shù)據(jù)平臺研究(英文)[A];2011中國材料研討會論文摘要集[C];2011年

2 李育芳;彭豐林;楊京鳳;薛國強;王源;李敏;;地球物理信息數(shù)據(jù)平臺設(shè)計與實現(xiàn)[A];中國地球物理2013——第十八專題論文集[C];2013年

3 萬元;;監(jiān)控數(shù)據(jù)平臺下泵實時監(jiān)測與診斷方法初探[A];中國水力發(fā)電工程學(xué)會信息化專委會、水電控制設(shè)備專委會2013年學(xué)術(shù)交流會論文集[C];2013年

4 張紅梅;歐歌;陳剛;盧宇;屈進祿;;HXMT科學(xué)運行中心數(shù)據(jù)平臺建設(shè)[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（下冊）[C];2008年

5 林琳;林祺蓉;王俏俏;;地區(qū)調(diào)度綜合數(shù)據(jù)平臺在濟南電網(wǎng)的開發(fā)及應(yīng)用[A];山東電機工程學(xué)會2012年度學(xué)術(shù)年會論文集[C];2012年

6 張紅梅;歐歌;陳剛;盧宇;屈進祿;;HXMT科學(xué)運行中心數(shù)據(jù)平臺建設(shè)[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（2）[C];2008年

7 鞏慧韜;;Web服務(wù)在集控綜合數(shù)據(jù)平臺中的應(yīng)用與問題[A];中國水力發(fā)電工程學(xué)會信息化專委會2008年學(xué)術(shù)交流會論文集[C];2008年

8 許芳奎;;基于狀態(tài)數(shù)據(jù)平臺的高職院校教學(xué)質(zhì)量保障體系構(gòu)建的探討[A];中國名校卷（天津卷）[C];2013年

9 馬龍;余忠源;申燭;徐長安;王其樂;;集團化風(fēng)電場功率預(yù)測數(shù)據(jù)平臺系統(tǒng)的設(shè)計[A];2013電力行業(yè)信息化年會論文集[C];2013年

10 周攀搏;宗志林;;趙固二礦煤礦專用數(shù)據(jù)傳輸與集成處理平臺的開發(fā)[A];第24屆全國煤礦自動化與信息化學(xué)術(shù)會議暨第6屆中國煤礦信息化與自動化高層論壇論文集[C];2014年

相關(guān)重要報紙文章 前10條

1 記者 任雪梅;首個大數(shù)據(jù)平臺9月試運行[N];佛山日報;2013年

2 解玉婧;飛揚大數(shù)據(jù)平臺備戰(zhàn)大數(shù)據(jù)時代[N];經(jīng)濟參考報;2013年

3 鄧云 張海濤 秋冰;年底前都將進入大數(shù)據(jù)平臺[N];常州日報;2014年

4 本報記者 郭濤;大數(shù)據(jù)平臺要為行業(yè)優(yōu)化[N];中國計算機報;2014年

5 何啟翱 吳愷;商業(yè)銀行建好大數(shù)據(jù)平臺正當(dāng)時[N];中國城鄉(xiāng)金融報;2014年

6 本報記者　 李中秋;上海將建期貨業(yè)誠信數(shù)據(jù)平臺[N];中國證券報;2006年

7 趙嘉蒞;南京地區(qū)調(diào)度系統(tǒng)綜合數(shù)據(jù)平臺項目通過驗收[N];國家電網(wǎng)報;2008年

8 特派記者 陳鐫娟;建綜合數(shù)據(jù)平臺 管理境外人員[N];廈門日報;2013年

9 本報記者 程彥博;吉林農(nóng)信數(shù)據(jù)平臺三步走[N];中國計算機報;2013年

10 本報記者 張曉峰;拓爾思、東方國信和同有科技成大數(shù)據(jù)平臺“三尖兵”[N];證券日報;2013年

相關(guān)碩士學(xué)位論文 前10條

1 李鵬飛;電力調(diào)控數(shù)據(jù)平臺建設(shè)技術(shù)研究[D];山東大學(xué);2015年

2 呂平;面向銀行業(yè)務(wù)的數(shù)據(jù)平臺的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 胡琳惠;基于Web的工程項目管理軟件數(shù)據(jù)平臺設(shè)計[D];電子科技大學(xué);2014年

4 李維辰;江蘇省國稅系統(tǒng)綜合數(shù)據(jù)平臺的設(shè)計和實現(xiàn)[D];電子科技大學(xué);2014年

5 胡日新;公共交通開放數(shù)據(jù)平臺及服務(wù)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

6 閆石磊;基于GeoServer的WebGIS共享數(shù)據(jù)平臺[D];西安電子科技大學(xué);2015年

7 趙郭q，

本文編號：1824968