【摘要】：大數(shù)據(jù)為進行趨勢預測與商業(yè)決策帶來便利的同時,也給我們帶來巨大的挑戰(zhàn),特別是在大數(shù)據(jù)的處理過程中出現(xiàn)一系列亟待解決的問題:大量重復計算的存在,嚴重浪費了計算與存儲資源;大數(shù)據(jù)處理的文件訪問模式呈現(xiàn)出不均衡的特點,但現(xiàn)有存儲架構對該種訪問模式的支持還顯不足;在采用多副本策略提升大數(shù)據(jù)處理平臺中元數(shù)據(jù)的可靠性后,無論是元數(shù)據(jù)復制過程,還是對元數(shù)據(jù)進行更改操作都存在效率低下的問題;最后,如何采用較低成本對大數(shù)據(jù)提供容災保障,也是當前面臨的一個挑戰(zhàn)。本文對大數(shù)據(jù)處理中產生的上述關鍵問題進行研究,主要研究內容和貢獻可以概括如下:針對如何在大數(shù)據(jù)處理中快速進行重復計算檢測這一問題,本文提出了基于預先分類的重復查詢語句檢測機制,在根據(jù)查詢語句的特征對其進行分類后,每個查詢語句的重復檢測工作僅在已有歷史數(shù)據(jù)中的子集內進行,在防止重復計算的前提下,避免檢測時間隨著歷史數(shù)據(jù)的膨脹而過快增長。針對大數(shù)據(jù)處理中呈現(xiàn)出的文件訪問模式不均衡的特點,本文提出了一個基于分級存儲架構的大數(shù)據(jù)處理解決方案,可以根據(jù)當前工作負載狀況判斷出全局數(shù)據(jù)集中的熱數(shù)據(jù),并通過一個共享存儲集群對熱數(shù)據(jù)的處理進行加速。針對采用多副本策略后產生的元數(shù)據(jù)復制過程效率低下問題,本文提出了基于分離復制策略的元數(shù)據(jù)復制方法,使內存中元數(shù)據(jù)與磁盤中元數(shù)據(jù)操作日志的復制過程相分離,各自獨立,避免在元數(shù)據(jù)的復制過程中產生磁盤I/O,在保障元數(shù)據(jù)可靠性的同時縮短了元數(shù)據(jù)復制時間。針對大數(shù)據(jù)處理平臺中元數(shù)據(jù)一致性問題,本文提出了一種基于批量執(zhí)行的兩階段提交協(xié)議Batch-2PC,該協(xié)議通過“批量執(zhí)行,批量提交”的策略,減少了處理多個元數(shù)據(jù)更改操作過程中產生的網絡延時,并采用預先沖突檢測進一步縮短操作的完成時間。本文還設計并實現(xiàn)了一套關鍵信息災備系統(tǒng),可對大數(shù)據(jù)處理平臺提供容災保障,該系統(tǒng)通過云存儲降低容災成本,并利用全局去重的思想優(yōu)化了異地數(shù)據(jù)傳輸量和數(shù)據(jù)恢復時間。
【學位授予單位】：清華大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP311.13

【引證文獻】

相關碩士學位論文 前3條

1 胡榮輝;基于大數(shù)據(jù)技術的糧倉智能通風策略研究[D];河南工業(yè)大學;2018年

2 李卓然;網絡社區(qū)數(shù)據(jù)的可信存儲技術研究與應用[D];北京郵電大學;2018年

3 徐晗;高負載環(huán)境下分層一致性協(xié)議的優(yōu)化與實現(xiàn)[D];哈爾濱工業(yè)大學;2017年

，

本文編號：2514033