【摘要】：借助互聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)以爆炸性的方式增長(zhǎng)。社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)和車(chē)載網(wǎng)絡(luò)的流行,使非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)中心中所占的比重越來(lái)越大。大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生,發(fā)展迅速,深度影響著互聯(lián)網(wǎng)產(chǎn)業(yè)的格局,是又一次信息革命的浪潮。大數(shù)據(jù)技術(shù)中具有典型代表是Hadoop開(kāi)源框架,各種公司、開(kāi)源團(tuán)隊(duì)、研究機(jī)構(gòu)對(duì)于Hadoop的擴(kuò)展研究非�；钴S,推出了很多支持批處理、流處理、實(shí)時(shí)處理的大數(shù)據(jù)平臺(tái)。本論文闡述了大數(shù)據(jù)實(shí)時(shí)查詢(xún)平臺(tái)的設(shè)計(jì)原理,重點(diǎn)描述了基于Mem cached的內(nèi)存優(yōu)化方案。針對(duì)Memcached存在的熱點(diǎn)問(wèn)題和單點(diǎn)失效問(wèn)題,進(jìn)行系統(tǒng)分析,并且提出基于熱點(diǎn)的動(dòng)態(tài)調(diào)整策略。本論文的研究成果具有重要的理論價(jià)值和實(shí)踐價(jià)值。從理論上看,由熱點(diǎn)引起的負(fù)載不均衡問(wèn)題普遍存在于分布式系統(tǒng)中,例如在云計(jì)算系統(tǒng)中需要考慮各個(gè)節(jié)點(diǎn)的CPU和內(nèi)存的利用是否均衡,論文提出的基于熱點(diǎn)的動(dòng)態(tài)調(diào)整策略對(duì)于分布式系統(tǒng)的優(yōu)化具有學(xué)術(shù)參考價(jià)值。從實(shí)踐上看,該策略的實(shí)現(xiàn)成功加速了我們?cè)O(shè)計(jì)的大數(shù)據(jù)平臺(tái)的查詢(xún)處理速度,證明了該策略對(duì)于構(gòu)建高效的大數(shù)據(jù)平臺(tái)具有實(shí)踐參考價(jià)值。
[Abstract]:With the development of the Internet, the data grows explosively. The popularity of social networks, the Internet of things and in-vehicle networks makes unstructured, semi-structured data more and more important in data centers. Big data technology emerges as the times require, develops rapidly, deeply affects the pattern of Internet industry, is another tide of information revolution. The typical representative of big data technology is Hadoop open source framework, a variety of companies, open source teams, research institutions are very active in the expansion of Hadoop research, launched a lot of support batch processing, stream processing, real-time processing big data platform. This paper describes the design principle of big data real-time query platform, especially describes the memory optimization scheme based on Mem cached. Aiming at the hot spot problem and single point failure problem of Memcached, the system analysis is carried out, and the dynamic adjustment strategy based on hot spot is put forward. The research results of this paper have important theoretical and practical values. Theoretically, the problem of load imbalance caused by hot spots is widespread in distributed systems. For example, in cloud computing systems, it is necessary to consider whether the CPU and memory utilization of each node is balanced. The hot-spot-based dynamic adjustment strategy proposed in this paper is of academic reference value for the optimization of distributed systems. In practice, the implementation of this strategy has successfully accelerated the query processing speed of big data platform, and proved that the strategy has practical reference value for building an efficient big data platform.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳宇光;高慧;;評(píng)估數(shù)據(jù)平臺(tái)對(duì)優(yōu)化教學(xué)質(zhì)量監(jiān)控體系的研究[J];成都電子機(jī)械高等專(zhuān)科學(xué)校學(xué)報(bào);2011年04期

2 大邑;;開(kāi)放數(shù)據(jù)平臺(tái)是打開(kāi)“智慧城市”的鑰匙[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2013年15期

3 陳強(qiáng);立足國(guó)情 提供統(tǒng)一數(shù)據(jù)平臺(tái)的整體解決方案與服務(wù)[J];CAD/CAM與制造業(yè)信息化;2002年07期

4 丘劍,李德明;廣電網(wǎng)絡(luò)數(shù)據(jù)平臺(tái)的設(shè)想與實(shí)現(xiàn)[J];東莞理工學(xué)院學(xué)報(bào);2004年04期

5 韓宏,梁向東;我國(guó)省級(jí)衛(wèi)生監(jiān)督執(zhí)法數(shù)據(jù)平臺(tái)建設(shè)的基本構(gòu)想[J];中國(guó)衛(wèi)生監(jiān)督雜志;2005年03期

6 周琴芳;;實(shí)現(xiàn)精確營(yíng)銷(xiāo)——本地業(yè)務(wù)數(shù)據(jù)平臺(tái)建設(shè)思路[J];每周電腦報(bào);2006年15期

7 聶靖松;李維銘;邸瑞華;;主題數(shù)據(jù)平臺(tái)[J];計(jì)算機(jī)與信息技術(shù);2007年06期

8 臧鐵軍;;高可用的數(shù)據(jù)平臺(tái)是信息化建設(shè)的基石[J];中國(guó)教育信息化;2009年15期

9 陸寧;劉成;;煉化企業(yè)應(yīng)用數(shù)據(jù)平臺(tái)的設(shè)計(jì)與應(yīng)用[J];中國(guó)科技信息;2010年23期

10 李響;;微軟發(fā)布新一代私有云及數(shù)據(jù)平臺(tái)[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2012年02期

相關(guān)會(huì)議論文 前10條

1 ;普光氣田安全評(píng)價(jià)數(shù)據(jù)平臺(tái)研究(英文)[A];2011中國(guó)材料研討會(huì)論文摘要集[C];2011年

2 李育芳;彭豐林;楊京鳳;薛國(guó)強(qiáng);王源;李敏;;地球物理信息數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)地球物理2013——第十八專(zhuān)題論文集[C];2013年

3 萬(wàn)元;;監(jiān)控?cái)?shù)據(jù)平臺(tái)下泵實(shí)時(shí)監(jiān)測(cè)與診斷方法初探[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專(zhuān)委會(huì)、水電控制設(shè)備專(zhuān)委會(huì)2013年學(xué)術(shù)交流會(huì)論文集[C];2013年

4 張紅梅;歐歌;陳剛;盧宇;屈進(jìn)祿;;HXMT科學(xué)運(yùn)行中心數(shù)據(jù)平臺(tái)建設(shè)[A];第十四屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2008年

5 林琳;林祺蓉;王俏俏;;地區(qū)調(diào)度綜合數(shù)據(jù)平臺(tái)在濟(jì)南電網(wǎng)的開(kāi)發(fā)及應(yīng)用[A];山東電機(jī)工程學(xué)會(huì)2012年度學(xué)術(shù)年會(huì)論文集[C];2012年

6 張紅梅;歐歌;陳剛;盧宇;屈進(jìn)祿;;HXMT科學(xué)運(yùn)行中心數(shù)據(jù)平臺(tái)建設(shè)[A];第十四屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（2）[C];2008年

7 鞏慧韜;;Web服務(wù)在集控綜合數(shù)據(jù)平臺(tái)中的應(yīng)用與問(wèn)題[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專(zhuān)委會(huì)2008年學(xué)術(shù)交流會(huì)論文集[C];2008年

8 許芳奎;;基于狀態(tài)數(shù)據(jù)平臺(tái)的高職院校教學(xué)質(zhì)量保障體系構(gòu)建的探討[A];中國(guó)名校卷（天津卷）[C];2013年

9 馬龍;余忠源;申?duì)T;徐長(zhǎng)安;王其樂(lè);;集團(tuán)化風(fēng)電場(chǎng)功率預(yù)測(cè)數(shù)據(jù)平臺(tái)系統(tǒng)的設(shè)計(jì)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

10 周攀搏;宗志林;;趙固二礦煤礦專(zhuān)用數(shù)據(jù)傳輸與集成處理平臺(tái)的開(kāi)發(fā)[A];第24屆全國(guó)煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第6屆中國(guó)煤礦信息化與自動(dòng)化高層論壇論文集[C];2014年

相關(guān)重要報(bào)紙文章 前10條

1 記者 任雪梅;首個(gè)大數(shù)據(jù)平臺(tái)9月試運(yùn)行[N];佛山日?qǐng)?bào);2013年

2 解玉婧;飛揚(yáng)大數(shù)據(jù)平臺(tái)備戰(zhàn)大數(shù)據(jù)時(shí)代[N];經(jīng)濟(jì)參考報(bào);2013年

3 鄧云 張海濤 秋冰;年底前都將進(jìn)入大數(shù)據(jù)平臺(tái)[N];常州日?qǐng)?bào);2014年

4 本報(bào)記者 郭濤;大數(shù)據(jù)平臺(tái)要為行業(yè)優(yōu)化[N];中國(guó)計(jì)算機(jī)報(bào);2014年

5 何啟翱 吳愷;商業(yè)銀行建好大數(shù)據(jù)平臺(tái)正當(dāng)時(shí)[N];中國(guó)城鄉(xiāng)金融報(bào);2014年

6 本報(bào)記者　 李中秋;上海將建期貨業(yè)誠(chéng)信數(shù)據(jù)平臺(tái)[N];中國(guó)證券報(bào);2006年

7 趙嘉蒞;南京地區(qū)調(diào)度系統(tǒng)綜合數(shù)據(jù)平臺(tái)項(xiàng)目通過(guò)驗(yàn)收[N];國(guó)家電網(wǎng)報(bào);2008年

8 特派記者 陳鐫娟;建綜合數(shù)據(jù)平臺(tái) 管理境外人員[N];廈門(mén)日?qǐng)?bào);2013年

9 本報(bào)記者 程彥博;吉林農(nóng)信數(shù)據(jù)平臺(tái)三步走[N];中國(guó)計(jì)算機(jī)報(bào);2013年

10 本報(bào)記者 張曉峰;拓爾思、東方國(guó)信和同有科技成大數(shù)據(jù)平臺(tái)“三尖兵”[N];證券日?qǐng)?bào);2013年

相關(guān)博士學(xué)位論文 前1條

1 王華偉;鐵路運(yùn)輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺(tái)研究[D];中國(guó)鐵道科學(xué)研究院;2017年

相關(guān)碩士學(xué)位論文 前10條

1 王浩;大數(shù)據(jù)平臺(tái)下數(shù)據(jù)緩存性能優(yōu)化[D];北京郵電大學(xué);2016年

2 李鵬飛;電力調(diào)控?cái)?shù)據(jù)平臺(tái)建設(shè)技術(shù)研究[D];山東大學(xué);2015年

3 呂平;面向銀行業(yè)務(wù)的數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

4 胡琳惠;基于Web的工程項(xiàng)目管理軟件數(shù)據(jù)平臺(tái)設(shè)計(jì)[D];電子科技大學(xué);2014年

5 李維辰;江蘇省國(guó)稅系統(tǒng)綜合數(shù)據(jù)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2014年

6 胡日新;公共交通開(kāi)放數(shù)據(jù)平臺(tái)及服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

7 閆石磊;基于GeoServer的WebGIS共享數(shù)據(jù)平臺(tái)[D];西安電子科技大學(xué);2015年

8 趙郭q，

本文編號(hào)：2450634