隨著數(shù)據(jù)與系統(tǒng)規(guī)模的不斷擴(kuò)大,網(wǎng)絡(luò)傳輸成為了鍵值存儲系統(tǒng)的性能瓶頸。同時,遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)能夠支持高帶寬和低時延的數(shù)據(jù)傳輸,為鍵值存儲系統(tǒng)設(shè)計(jì)提供了新的思路。結(jié)合高性能網(wǎng)絡(luò)中的RDMA技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了高性能、低CPU負(fù)載的鍵值存儲系統(tǒng)Chequer;結(jié)合RDMA原語的特性,重新設(shè)計(jì)了鍵值存儲系統(tǒng)的基本操作工作流程;并設(shè)計(jì)了基于線性探測的共享hash表,解決客戶端緩存失效的問題以及提高h(yuǎn)ash命中率來減少客戶端的讀取輪數(shù),進(jìn)一步提高了系統(tǒng)的性能。在小規(guī)模集群上實(shí)現(xiàn)了Chequer系統(tǒng),并通過實(shí)驗(yàn)驗(yàn)證了其性能。 

【文章來源】：計(jì)算機(jī)應(yīng)用. 2020,40(02)北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

Chequer整體架構(gòu)

內(nèi)存管理模塊用來負(fù)責(zé)服務(wù)器端的內(nèi)存管理。為了使服務(wù)器申請和釋放內(nèi)存塊的速度得到提高，且盡量避免服務(wù)端成為性能瓶頸，系統(tǒng)實(shí)現(xiàn)了基于Buddy內(nèi)存管理算法的二級緩存的內(nèi)存池[11]。如圖2所示，服務(wù)器首先向第一層快速緩存層申請緩沖區(qū)并釋放緩沖區(qū)；經(jīng)過內(nèi)存池的二級緩存混合緩存層后，Buddy內(nèi)存管理層直接向操作系統(tǒng)申請大塊內(nèi)存，且在RDMA網(wǎng)卡中注冊這些內(nèi)存，之后使用Buddy算法管理內(nèi)存。Buddy算法使得Memory Manager對大塊連續(xù)內(nèi)存進(jìn)行管理，它會調(diào)用mmap接口向操作系統(tǒng)申請大塊的連續(xù)內(nèi)存，并接收來自上層申請內(nèi)存和釋放連續(xù)內(nèi)存的請求，且可以將大塊的緩沖區(qū)切割成合適大小的緩沖區(qū)反饋給上層。2 Chequer系統(tǒng)關(guān)鍵技術(shù)設(shè)計(jì)

由于客戶端發(fā)起存儲key-value的請求中，value的大小往往不同，大小范圍變化可從1 B到1 MB。因此，為了提高系統(tǒng)的操作性能，在設(shè)計(jì)put操作時，本節(jié)設(shè)計(jì)了put操作的兩種傳輸模式供客戶端選擇。put操作的整體設(shè)計(jì)流程如圖3所示。put操作的第一種傳輸模式和傳統(tǒng)的put操作模式相同�？蛻舳藢ey和value直接封裝成一條消息，并通過RDMA的send原語發(fā)送給服務(wù)器端；服務(wù)器端在接收到消息請求后，會將key和value拷貝到相應(yīng)的hash表和存儲區(qū)。

【參考文獻(xiàn)】：
碩士論文
[1]基于RDMA的鍵值存儲系統(tǒng)性能優(yōu)化[D]. 王成.南京大學(xué) 2019



本文編號：3031575