發(fā)布時(shí)間：2018-07-25 15:19

【摘要】：近些年來,社交網(wǎng)絡(luò)、電子商務(wù)等交互網(wǎng)站迎來了巨大的增長(zhǎng)。磁盤一直作為存儲(chǔ)的主要介質(zhì),其I/O性能成為制約服務(wù)器性能的瓶頸。Memcached有效地解決了基于磁盤的數(shù)據(jù)庫(kù)中CPU和磁盤I/O之間的主要矛盾,并且作為一個(gè)解決訪問距離和提高源服務(wù)器能力瓶頸的有效方法得到了越來越廣泛的應(yīng)用。由于Memcached的重要作用以及其簡(jiǎn)單和開源架構(gòu),很多研究集中于Memcached的性能優(yōu)化方面。本論文首先剖析了Memcached的軟件架構(gòu)并進(jìn)行完整源碼分析,整理Memcached的工作原理和流程,為后續(xù)分析和研究打下基礎(chǔ)。在網(wǎng)絡(luò)模型方面,Memcached基于C/S服務(wù)器模型,使用了Reactor事件處理模式和半同步/半異步并發(fā)模式;在內(nèi)存管理方面,Memcached使用了slab內(nèi)存池和LRU(Least Recently Used)實(shí)現(xiàn)內(nèi)存的高效管理;哈希表被用于Memcached進(jìn)行對(duì)象的快速查找;在命令分析和處理方面,Memcached使用有限狀態(tài)機(jī)。其次本論文從Memcached架構(gòu)和流程的角度,設(shè)計(jì)一個(gè)適合Memcached的數(shù)據(jù)壓縮方案。從壓縮率以及通用的角度,選擇了Zlib數(shù)據(jù)壓縮庫(kù)中的DEFLATE算法進(jìn)行壓縮功能的實(shí)現(xiàn)。實(shí)驗(yàn)從對(duì)象數(shù)量、對(duì)象分布情況、命中率、系統(tǒng)延遲、延遲提速比等方面來說明數(shù)據(jù)壓縮能夠明顯提高M(jìn)emcached的訪存性能。在使用數(shù)據(jù)壓縮功能的情況下,Memcached只需70%的內(nèi)存空間就可以達(dá)到原先的命中率。接著,本論文分析了Memcached的鈣化現(xiàn)象及其產(chǎn)生原因,進(jìn)一步討論了新增的數(shù)據(jù)壓縮功能對(duì)鈣化的影響情況。在請(qǐng)求的分布情況隨時(shí)間變化的情況下,鈣化現(xiàn)象明顯降低Memcached的命中率。本文在Linux的slab分配器思想的基礎(chǔ)上提出了調(diào)整Memcached的slab分配機(jī)制;在Memcached采用數(shù)據(jù)壓縮功能后而數(shù)據(jù)特征變化的情況下,提出最小影響因子選擇算法來幫助Memcached實(shí)現(xiàn)內(nèi)存回收過程中的slab選取問題;兩者相結(jié)合,可以有效地解決壓縮情況下的鈣化問題。通過實(shí)驗(yàn)測(cè)試驗(yàn)證這種方案,并且與其他的解決方法和策略的效果進(jìn)行比較,效果明顯。這種方案有效降低壓縮情況下鈣化問題對(duì)Memcached的命中率的影響,提升了10%的命中率。綜上,本文從使用數(shù)據(jù)壓縮提高內(nèi)存存儲(chǔ)密度和解決鈣化問題提高內(nèi)存使用率的角度,實(shí)現(xiàn)對(duì)Memcached訪存性能進(jìn)行優(yōu)化的目標(biāo)。
[Abstract]:In recent years, social networks, e-commerce and other interactive sites ushered in a huge growth. Disk has always been the main medium for storage. Its I / O performance has become the bottleneck of server performance. Memcached has effectively solved the main contradiction between CPU and disk I / O in disk-based database. And as an effective method to solve the bottleneck of access distance and improve the capability of source server, it has been applied more and more widely. Due to the importance of Memcached and its simple and open source architecture, many studies have focused on the performance optimization of Memcached. In this paper, the software architecture of Memcached is analyzed firstly, and the whole source code is analyzed, and the working principle and flow of Memcached are sorted out, which lays a foundation for further analysis and research. In network model, Reactor event processing mode and semi-synchronous / semi-asynchronous concurrent mode are used based on C / S server model, and slab memory pool and LRU (Least Recently Used) are used to manage memory efficiently in memory management. Hash tables are used for fast object lookup in Memcached, and finite state machines are used for command analysis and processing. Secondly, from the point of view of Memcached architecture and flow, this paper designs a data compression scheme suitable for Memcached. From the point of view of compression ratio and general purpose, the DEFLATE algorithm in Zlib data compression library is selected to realize the compression function. From the aspects of object number, object distribution, hit ratio, system delay, delay speed ratio and so on, the experiment shows that data compression can obviously improve the memory access performance of Memcached. With data compression, it takes only 70% of memory space to hit the original hit rate. Then, this paper analyzes the calcification phenomenon of Memcached and its causes, and further discusses the effect of the new data compression function on calcification. When the distribution of requests varies with time, calcification can significantly reduce the hit ratio of Memcached. Based on the idea of slab allocator of Linux, this paper puts forward the slab allocation mechanism of adjusting Memcached, and when the data compression function is adopted in Memcached, the data characteristics change. A minimum influence factor selection algorithm is proposed to help Memcached realize the slab selection problem in the process of memory recovery, and the calcification problem under compression can be effectively solved by combining the two methods. The experimental results show that the scheme is effective compared with other solutions and strategies. This scheme effectively reduces the impact of calcification on the hit ratio of Memcached under compression, and increases the hit ratio by 10%. In summary, this paper aims to optimize the memory access performance of Memcached from the point of using data compression to improve memory density and to solve the problem of calcification to improve memory utilization.
【學(xué)位授予單位】：深圳大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 丁燕云;魏娟;;淺析SQL數(shù)據(jù)庫(kù)的性能優(yōu)化問題[J];科技信息(學(xué)術(shù)研究);2007年34期

2 ;簡(jiǎn)單易用網(wǎng)絡(luò)性能優(yōu)化軟件[J];網(wǎng)絡(luò)與信息;1999年10期

3 袁山龍,吳潔明;證券網(wǎng)上集中交易系統(tǒng)性能優(yōu)化的研究與應(yīng)用[J];微計(jì)算機(jī)應(yīng)用;2003年05期

4 張建華;王群華;;對(duì)系統(tǒng)性能優(yōu)化的十點(diǎn)辨析[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2007年05期

5 王勇;;基于SQL數(shù)據(jù)庫(kù)的性能優(yōu)化問題分析[J];電腦知識(shí)與技術(shù);2008年15期

6 王保平;;性能優(yōu)化的簡(jiǎn)單法則[J];程序員;2009年09期

7 李培慧;何宗鍵;;某人力資源管理系統(tǒng)中用戶導(dǎo)入模塊性能優(yōu)化方案分析[J];科技信息;2010年35期

8 曉慧;;本本性能優(yōu)化圣手[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2012年01期

9 王江偉;陳琛;;淺析軟件性能優(yōu)化[J];科技風(fēng);2012年08期

10 楊波;;系統(tǒng)性能優(yōu)化問題研究[J];科技致富向?qū)?2013年09期

相關(guān)會(huì)議論文 前10條

1 姚杰;;寶鋼不銹鋼系統(tǒng)數(shù)據(jù)庫(kù)性能優(yōu)化方案[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2007年會(huì)論文集[C];2007年

2 代桂平;殷保群;奚宏生;周亞平;;受控M／G／1排隊(duì)系統(tǒng)的性能優(yōu)化[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

3 李彥;王屹;徐繼明;;ERP系統(tǒng)的性能優(yōu)化[A];全國(guó)煉鋼連鑄過程自動(dòng)化技術(shù)交流會(huì)論文集[C];2006年

4 趙海波;楊昭;方箏;徐振軍;;燃?xì)鈮嚎s式熱泵系統(tǒng)全年季節(jié)性能優(yōu)化[A];中國(guó)制冷學(xué)會(huì)2007學(xué)術(shù)年會(huì)論文集[C];2007年

5 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問題淺談[A];科技、工程與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展——中國(guó)科協(xié)第五屆青年學(xué)術(shù)年會(huì)論文集[C];2004年

6 奚宏生;唐昊;殷保群;周亞平;;Markov控制過程在緊致行動(dòng)集上的性能優(yōu)化[A];第二十一屆中國(guó)控制會(huì)議論文集[C];2002年

7 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問題淺談[A];鐵道部信息技術(shù)中心成立30周年暨鐵路運(yùn)輸管理信息系統(tǒng)（TMIS）工程全面竣工投產(chǎn)TMIS工程建設(shè)論文專輯（二）[C];2005年

8 高明星;;DB2數(shù)據(jù)庫(kù)應(yīng)用性能優(yōu)化問題淺談[A];中國(guó)鐵道學(xué)會(huì)——2004年度學(xué)術(shù)活動(dòng)優(yōu)秀論文評(píng)獎(jiǎng)?wù)撐募痆C];2005年

9 杜勁松;李強(qiáng);包勁松;;國(guó)產(chǎn)600MW機(jī)組循環(huán)效率試驗(yàn)及性能優(yōu)化分析[A];2008中國(guó)可持續(xù)發(fā)展論壇論文集（3）[C];2008年

10 杜勁松;李強(qiáng);包勁松;;國(guó)產(chǎn)600MW機(jī)組循環(huán)效率試驗(yàn)及性能優(yōu)化分析[A];全國(guó)火電大機(jī)組（600MW級(jí)）競(jìng)賽第十二屆年會(huì)論文集（上冊(cè)）[C];2008年

相關(guān)重要報(bào)紙文章 前4條

1 陳翔;性能優(yōu)化只能救火[N];中國(guó)計(jì)算機(jī)報(bào);2007年

2 本報(bào)記者 郭平;EMC簡(jiǎn)單高效實(shí)現(xiàn)私有云[N];計(jì)算機(jī)世界;2010年

3 ;安圖特引入新型數(shù)據(jù)加速解決方案[N];人民郵電;2008年

4 陳洪康 郭寶群 李雪梅;淺談VLDB性能優(yōu)化與維護(hù)[N];人民郵電;2001年

相關(guān)博士學(xué)位論文 前8條

1 李攀攀;云服務(wù)SLA合規(guī)性驗(yàn)證及性能優(yōu)化研究[D];哈爾濱工業(yè)大學(xué);2016年

2 陳偉鋒;大規(guī)模復(fù)雜過程系統(tǒng)的高性能優(yōu)化理論與方法研究[D];浙江大學(xué);2011年

3 李磊;分布式系統(tǒng)中容錯(cuò)機(jī)制性能優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

4 賈海鵬;面向GPU計(jì)算平臺(tái)的若干并行優(yōu)化關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2012年

5 那俊;基于兩階段適應(yīng)的ASBS性能持續(xù)優(yōu)化方法研究[D];東北大學(xué);2011年

6 魏丫丫;Web傳輸?shù)男阅軆?yōu)化[D];清華大學(xué);2006年

7 何倩;P2P系統(tǒng)性能優(yōu)化若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2010年

8 毛宏燕;基于部分計(jì)值的服務(wù)性能優(yōu)化研究[D];上海交通大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 鄒興偉;防偽纖維熒光檢測(cè)儀性能優(yōu)化研究[D];西南科技大學(xué);2015年

2 邱能俊;科學(xué)大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究[D];貴州大學(xué);2015年

3 陳俊t，

本文編號(hào)：2144226