【摘要】：隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,以及外包計算和存儲的大量涌現(xiàn),一種新的計算模式---云計算,正在逐漸興起。所謂云計算,是指通過網(wǎng)絡(luò)方便按需地訪問可配置的共享計算資源,如網(wǎng)絡(luò)、存儲、內(nèi)存、應(yīng)用等,其計算資源的供給和釋放不需要或只需很少的人工參與。就目前而言,SaaS(Software as a Service)是公認的云計算的最好的實現(xiàn)形式。 在SaaS模式下,服務(wù)提供商需要存儲成千上萬租戶的數(shù)據(jù),而單獨為每一個租戶分配一個數(shù)據(jù)庫實例需要大量的資源,而事實上任一數(shù)據(jù)庫實例在大多數(shù)情況下的使用率是極低的,這就導(dǎo)致了大量的資源浪費。針對此問題,共享數(shù)據(jù)庫共享存儲模式被提出來用以解決具有相似存儲模式的數(shù)據(jù)庫實例的資源浪費,如Universal Table, Pivot Table, Chunk Folding等,而為了減少那些不具備相似存儲模式的數(shù)據(jù)庫實例的資源浪費,數(shù)據(jù)庫合并(Database Consolidation)被提出來用于進一步減少數(shù)據(jù)庫實例的數(shù)量,從而獲取規(guī)模經(jīng)濟效益。共享存儲模式和數(shù)據(jù)庫合并可以極大程度的減少數(shù)據(jù)庫實例的數(shù)量,從而降低資源浪費,但是基于傳統(tǒng)數(shù)據(jù)庫搭建的多租戶數(shù)據(jù)庫的緩存管理機制存在著以下不足或挑戰(zhàn)： (1)數(shù)據(jù)塊緩存替換單元的局限性。傳統(tǒng)數(shù)據(jù)庫緩存機制以數(shù)據(jù)塊作為緩存單元,而多租戶共享存儲架構(gòu)下,任一數(shù)據(jù)塊均包含了大量其他租戶的無關(guān)數(shù)據(jù),采用數(shù)據(jù)塊作為緩存單元導(dǎo)致大量緩存資源的浪費。 (2)租戶間緩存資源分配的盲目性。傳統(tǒng)數(shù)據(jù)庫緩存機制缺乏多租戶的概念,對于來自租戶的請求,傳統(tǒng)緩存機制會從提高數(shù)據(jù)庫整體性能的角度進行緩存管理,這就會導(dǎo)致租戶間資源分配的極為不合理,如高頻訪問租戶搶占低頻訪問租戶的資源,使得低頻訪問租戶的SLA響應(yīng)時間需求得不到保障,這與云計算環(huán)境下的彈性以及按需分配特性相違背。 (3)云緩存資源分配缺乏有效的分配機制。云計算環(huán)境下,為獲取良好的伸縮性以及達到負載均衡,租戶數(shù)據(jù)被劃分到多個數(shù)據(jù)節(jié)點進行存儲,如何確定各節(jié)點緩存內(nèi)容使得：(a)租戶的SLA響應(yīng)時間得到滿足,(b)云緩存效益(I/O減少次數(shù))盡可能高,云緩存資源消耗盡可能少,(c)各子節(jié)點的I/O負載均衡。 本文針對云計算環(huán)境下多租戶數(shù)據(jù)庫緩存管理機制的上述問題和挑戰(zhàn),結(jié)合Chunk Folding共享存儲模式的特性,從緩存替換單元,多租戶特性及云緩存資源協(xié)調(diào)分配等幾方面著手,提出了適應(yīng)負載的動態(tài)緩存單元生成機制,緩存單元I／0估價模型,多租戶云緩存資源分配機制。本文的主要工作及成果包括： (1)提出了基于Chunk Folding的動態(tài)緩存替換單元的生成機制。該機制以租戶的請求負載和租戶后臺Chunk Folding共享存儲架構(gòu)的物理存儲模式作為輸入,輸出一系列列(集)緩存替換單元,將該緩存替換單元取代傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)塊緩存替換單元可以大幅度降低緩存消耗,提升緩存利用率。 (2)給出緩存單元的I/0效益估價模型。該模型結(jié)合數(shù)據(jù)庫(MySQL)查詢優(yōu)化器的執(zhí)行計劃以及Chunk Folding的特性,得出每一緩存替換單元的I／0效益,并用此效益值與緩存替換單元所占緩存空間的比值作為該緩存替換單元的I/0效益率(半命中率),此外為實現(xiàn)云數(shù)據(jù)節(jié)點I/O負載均衡,結(jié)合當前節(jié)點的I/0負載狀況,對每一緩存替換單元的I/0效益率進行加權(quán)修正,并將其作為衡量是否緩存該替換單元的標準,取代傳統(tǒng)的命中率作為緩存與否衡量標準,使得緩存整體效益得到提升。 (3)給出兩種緩存分配策略,租戶級和系統(tǒng)級緩存分配策略。采用貪婪算法迭代選擇緩存單元進駐內(nèi)存,并對相關(guān)緩存單元的效益指標進行修正。通過租戶級緩存分配策略實現(xiàn)租戶緩存分配的在線動態(tài)調(diào)整,通過系統(tǒng)級緩存分配策略實現(xiàn)系統(tǒng)緩存松弛操作從而降低系統(tǒng)整體緩存消耗。 針對基于傳統(tǒng)數(shù)據(jù)庫搭建的多租戶數(shù)據(jù)庫在緩存管理機制存在的不足和新挑戰(zhàn),本文給出了相應(yīng)的解決機制---多租戶云數(shù)據(jù)存儲緩存管理機制(Multi-tenant Memory Management for Cloud data storage, M3C),該機制依據(jù)租戶SLA目標按需為多租戶分配緩存,降低云緩存資源消耗的同時并達到負載均衡。
[Abstract]:With the development of network technology and the emergence of outsourcing computing and storage, a new computing model--cloud computing, is emerging. The so-called cloud computing means that the configurable shared computing resources, such as network, storage, memory, application, etc., are conveniently accessed through the network, and the supply and release of computing resources are not required or require little manual participation. As far as is concerned, SaaS (Software as a Service) is the best form of implementation of recognized cloud computing. In SaaS mode, service providers need to store data for thousands of tenants, while allocating a single database instance for each tenant requires a large amount of resources, and virtually any database instance is very low in most cases And this leads to a lot of resource waves. Fee. For this issue, a shared database shared storage mode is proposed to address resource waste such as Universal Table, Pivot Table, Chunk Foling, and so on for database instances with similar storage patterns, while in order to reduce resource waves for database instances that do not have similar storage patterns The Database Consolidation is proposed to further reduce the number of instances of the database to get economies of scale The shared storage mode and the database combination can greatly reduce the number of database instances, thus reducing the resource waste, but the cache management mechanism of the multi-tenant database built on the basis of the traditional database has the following defects or disadvantages war: (1) data block cache replacement unit The traditional database caching mechanism uses the data block as a cache unit, and under the multi-tenant shared storage architecture, any data block contains irrelevant data of a large number of other tenants, and the data block is used as a cache unit to lead to a large amount of cache resources. waste. (2) Inter-tenant cache resource points The traditional database caching mechanism lacks the concept of multi-tenancy, and for the request from the tenant, the traditional caching mechanism can cache management from the point of improving the overall performance of the database, which can lead to the resource allocation among the tenants. Extremely unreasonable, such as high-frequency access to the tenant's resources to seize the low-frequency access to the tenant, so that the SLA response time requirements of the low-frequency access tenant are not guaranteed, which is in contrast to the flexibility in the cloud computing environment and on demand characteristic phase violation. (3) Lack of cloud cache resource allocation Effective distribution mechanism. In the cloud computing environment, to get good scalability and load balance, the tenant data is divided into a plurality of data nodes for storage, and how to determine the cache contents of each node makes it possible to: (a) the SLA of the tenant The time should be met, (b) the cloud cache efficiency (the number of I/ Os) is as high as possible, the cloud cache resources consume as little as possible, and (c) each sub-node I/ O load balancing. Based on the above-mentioned problems and challenges of the multi-tenant database cache management mechanism in the cloud computing environment, combined with the characteristics of the Chunk Foling shared storage mode, from the cache replacement unit, the multi-tenant feature and the cloud cache resource association In this paper, an adaptive load dynamic cache unit generation mechanism, a cache unit I/0 valuation model and a multi-tenant are proposed. The cloud cache resource allocation mechanism. This article The main work and achievements include: (1) proposed a dynamic based on Chunk Foling The mechanism uses the physical storage mode of the tenant's request load and the tenant background Chunk Foling to share the physical storage mode of the storage structure as input, outputs a series of column (set) cache replacement units, and replaces the cache replacement unit with the data block cache replacement unit of the traditional database. can greatly reduce the delay Save and improve cache utilization. (2) give a slow The I/ O benefit valuation model of the storage unit. The model is used to query the execution plan of the optimizer and the characteristics of the Chunk Foling to obtain the I/0 benefit of each cache replacement unit, and the ratio of the benefit value to the cache space occupied by the cache replacement unit is used as the cache replacement unit. The I/0 benefit rate (half-hit rate) of each cache replacement unit is weighted according to the I/ O load condition of the current node, and the I/0 benefit rate of each cache replacement unit is weighted and corrected as a standard for measuring whether to cache the replacement unit, instead of the traditional I/ O load condition of the current node, hit rate as a measure of cache or not So that the overall benefit of the cache is improved. (3) Two types of cache allocation are given. Slightly, tenant-level and system-level cache allocation policies. The performance index of the relevant cache unit is modified. The on-line dynamic adjustment of the tenant cache allocation is realized through the tenant-level cache allocation strategy, and the system cache is realized by the system-level cache allocation policy. In order to reduce the overall cache consumption of the system, this paper presents the corresponding solution mechanism--multi-tenant cloud data storage and cache management mechanism (Multi-Tenant Memory Management for Clou) for multi-tenant databases built on the basis of the traditional database. d data storage, M3C), which is based on the tenant's SLA target to allocate cache for multi-tenancy, lowe
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 徐濟仁,牛紀海,陳家松;WAV文件格式實例分析[J];微型機與應(yīng)用;2002年03期

2 呂學(xué)強,郭軍,姚天順;英漢機器翻譯系統(tǒng)ECT中的知識庫[J];小型微型計算機系統(tǒng);2004年08期

3 劉瑞祥 ,陳立亮 ,閔光國 ,袁浩揚;VESA高分辨模式下的FLIC動畫演示技術(shù)[J];電子與電腦;1996年10期

4 李軍;立體漢字動畫的制作、編輯與特技播放[J];電腦編程技巧與維護;1998年11期

5 陳立群;INFORMIX數(shù)據(jù)庫應(yīng)用[J];中國金融電腦;2000年06期

6 姚建東,秦軍,古志民;兩種新的緩沖區(qū)溢出攻擊原理及防范[J];計算機工程與應(yīng)用;2003年10期

7 胡艷維;活用ASP把圖片上傳到數(shù)據(jù)庫[J];萍鄉(xiāng)高等專科學(xué)校學(xué)報;2003年04期

8 田新宇;馬永強;王偉;;網(wǎng)絡(luò)存儲陣列中CACHE的設(shè)計[J];計算機系統(tǒng)應(yīng)用;2011年06期

9 吉根林;Windows的多媒體世界[J];多媒體世界;1994年06期

10 董歡慶,李戰(zhàn)懷,王彥龍,石維盛;Linux卷管理系統(tǒng)Snapshot技術(shù)的分析與研究[J];計算機工程;2004年02期

相關(guān)會議論文 前10條

1 劉昱;陳紅;王珊;;基于Chunk的緩存優(yōu)化與管理[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

2 盧艷民;焦有章;陳紅;;基于語義Chunk的動態(tài)實體化視圖技術(shù)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2005年

3 田新鋒;李戰(zhàn)懷;朱巖;;CHUNK中的多維數(shù)據(jù)壓縮[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

4 印瑩;鮑玉斌;趙宇海;孫煥良;于戈;;Q-Dwarf——語義OLAP壓縮算法Dwarf的快速實現(xiàn)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2004年

5 ;Peer-assisted Video-on-Demand with an Informed Interface of Chunk Availability[A];Proceedings 2010 IEEE 2nd Symposium on Web Society[C];2010年

6 李娜;陳紅;;CWMIV:使用改進的多版本進行并發(fā)控制[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

7 張新宇;王珊;陳紅;杜小勇;;基于三級索引機制的并行數(shù)據(jù)倉庫的存儲結(jié)構(gòu)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2002年

8 陳湘川;張達人;唐孝威;;視空間短時記憶的超廣度研究[A];第八屆全國心理學(xué)學(xué)術(shù)會議文摘選集[C];1997年

9 周玉;宗成慶;徐波;;基于多層過濾的統(tǒng)計機器翻譯[A];第二屆全國學(xué)生計算語言學(xué)研討會論文集[C];2004年

10 任登君;李珩;張俐;姚天順;;基于詞對齊的雙語組塊對齊[A];第二屆全國學(xué)生計算語言學(xué)研討會論文集[C];2004年

相關(guān)重要報紙文章 前10條

1 重慶 甘露;在Linux中實現(xiàn)RAID[N];電腦報;2001年

2 廣東 李鋒;妙用 Cache 優(yōu)化 Windows 2000[N];電腦報;2001年

3 龍哥;軟件應(yīng)用問答！[N];中國計算機報;2004年

4 t920(ChinaUnix 安全版版主);一次Web服務(wù)器滲透測試經(jīng)驗(上)[N];計算機世界;2004年

5 記者 齊芳;“頓悟”是怎么發(fā)生的[N];光明日報;2011年

6 王偉鋒;系統(tǒng)管理類[N];中國計算機報;2001年

7 徐志忠;保險行銷與教練魔法[N];中國保險報;2003年

8 張友偉;3D MAX影視動畫大制作（未完待續(xù)）[N];電腦報;2001年

9 于海軍;內(nèi)存也需要保潔[N];中國電腦教育報;2003年

10 山東省蓬萊市電業(yè)公司信息中心 孫開云;在Redhat Linux AS 4下實現(xiàn)軟件RAID[N];計算機世界;2005年

相關(guān)博士學(xué)位論文 前4條

1 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

2 萬成威;基于P2P流媒體模型的流量特征分析及實時分類[D];解放軍信息工程大學(xué);2012年

3 鄧亞丹;面向共享Cache多核處理器的數(shù)據(jù)庫查詢執(zhí)行優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2009年

4 張坤;面向多租戶應(yīng)用的云數(shù)據(jù)隱私保護機制研究[D];山東大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 姚金成;基于Chunk Folding的多租戶云數(shù)據(jù)存儲緩存管理機制[D];山東大學(xué);2012年

2 卓亞芬;ChunkedLOD—海量地形的實時繪制系統(tǒng)[D];浙江大學(xué);2004年

3 趙紀元;面向文景轉(zhuǎn)換的中文語義角色標注研究[D];哈爾濱工業(yè)大學(xué);2007年

4 吉音（Girum Dagnaw Dubale）;云備份系統(tǒng)中閃存輔助分段式布隆過濾器的研究[D];華中科技大學(xué);2012年

5 王宇;基于多租戶SaaS的模式映射技術(shù)[D];吉林大學(xué);2012年

6 吳欣鎧;結(jié)合memcached技術(shù)的社交游戲《人人城市》的設(shè)計與實現(xiàn)[D];南京大學(xué);2012年

7 宋揚;基于混合傳送機制的P2P節(jié)點緩存策略的研究[D];北京郵電大學(xué);2012年

8 羅皓;RTMP媒體流嵌入SIP軟交換網(wǎng)絡(luò)的研究與實現(xiàn)[D];華南理工大學(xué);2012年

9 陳香香;云計算中MapReduce性能優(yōu)化及應(yīng)用[D];重慶大學(xué);2011年

10 張軼彬;分布式文件系統(tǒng)客戶端的設(shè)計與實現(xiàn)[D];上海交通大學(xué);2011年

，

本文編號：2494596