本文關鍵詞：云環(huán)境下大數據服務及其關鍵技術研究

  更多相關文章： 云計算 大數據服務 可信組合評估 醫(yī)療大數據

【摘要】：近年來,大數據以其蘊含的豐富價值,得到了學術界和企業(yè)界的廣泛關注。對大數據進行管理利用并構建大數據服務,是挖掘大數據價值的關鍵途徑。云計算作為一種彈性高效的計算模式,則為構建大數據服務提供了強大的技術支撐。一方面,云計算的資源按需獲取、按使用量計費及廣域網互聯(lián)的優(yōu)勢,節(jié)約了大數據處理所需的昂貴基礎設施投入和維護成本；另一方面,基于云計算的大數據存儲、管理與分析等技術,為快速構建大數據服務提供了技術支撐。盡管云計算技術在大數據服務領域取得了豐富的研究成果,但云環(huán)境下數據資源的分散性、動態(tài)網絡中云服務QOS屬性的不確定性和應用需求多元化等因素,為高效實現(xiàn)可靠的大數據服務帶來了新的挑戰(zhàn)：如1)目前的研究中,缺乏一個云環(huán)境下的大數據服務應用模式,為高效構建大數據服務提供技術參考；2)當構建大數據服務所依賴的數據資源分布在云環(huán)境中大規(guī)模分布式的節(jié)點中時,為可擴展的數據資源節(jié)點管理方法和數據資源查找方法帶來了挑戰(zhàn)；3)當大數據服務部署在多個互相協(xié)同的云服務之上時,因滿足大數據服務功能性需求的云服務數目眾多,需要選擇QoS最優(yōu)的云服務組合方案。傳統(tǒng)的組合評估方法通常是使用云服務提供商發(fā)布的QoS值對組合方案進行評估,動態(tài)網絡環(huán)境或服務提供商可能的商業(yè)炒作使得組合方案的可信度受到很大的影響。針對目前云環(huán)境下大數據服務在應用模式、數據資源查找、可信組合評估等方面面臨的挑戰(zhàn),本文對云環(huán)境下的大數據服務及其關鍵技術開展了相關的研究工作；具體而言,本文的工作主要包括以下幾項：1)為高效構建云環(huán)境下的大數據服務,提出了一個云環(huán)境下通用的大數據服務應用模式。該應用模式分為五個層次,自下而上分別為數據資源層、數據資源搜集層、任務規(guī)劃層、可信組合評估層及大數據分析算法實現(xiàn)層。具體而言,數據資源層是以分布在云環(huán)境中的數據資源為基礎,用服務對數據資源進行封裝,供使用者通過匹配服務描述進行調用；數據資源搜集層則是根據大數據服務對數據資源的需求,實現(xiàn)可擴展的數據資源搜集：進而,任務規(guī)劃層是指針對大數據的處理需求,將復雜的計算任務劃分至多個功能獨立的子任務；根據各個子任務對存儲資源或計算資源的需求,可信組合評估層的功能便是為大數據處理任務選擇QoS最優(yōu)的云服務組合方案,從而為各個子任務提供存儲資源或計算資源；最后,根據可信組合評估層的選擇結果,設計并實現(xiàn)大數據分析算法,完成大數據服務的實現(xiàn)與部署；2)為滿足云環(huán)境下可擴展的數據資源節(jié)點管理和數據資源查找需求,針對性地研究了P2P技術在大數據服務中的拓展應用。具體而言,采用非結構化P2P網絡作為云環(huán)境下數據資源節(jié)點的拓撲組織結構,并以服務封裝數據資源,使用者通過查找匹配服務描述信息以獲得構建大數據服務所需的數據資源；進一步地,提出基于鄰居節(jié)點間的數據資源信息主動復制協(xié)議,通過提高網絡中數據資源的覆蓋率以提高查找成功率。最后,基于鄰居間主動復制的資源信息,提出了基于概率隨機游走的數據資源查找方法,實現(xiàn)云環(huán)境下可擴展的數據資源查找；3) 為提高支撐大數據服務的云服務組合方案的可信度,結合云服務的QoS歷史記錄大數據,提出了基于QoS歷史記錄的可信組合評估方法。為提高組合評估的計算效率,提出了HireSome-Ⅰ方法,HireSome-Ⅰ方法通過使用部分基于QoS歷史記錄的組合方案,對云服務組合方案進行評估,縮小了組合評估的計算規(guī)模,從而降低了組合評估執(zhí)行的時間消耗。作為HireSome-Ⅰ方法的補充完善,簡要介紹了Dou等人提出的HireSome-Ⅱ方法,即基于代表性QoS歷史記錄的可信組合評估方法。HireSome-Ⅱ方法通過使用代表性QoS歷史記錄執(zhí)行可信組合評估,降低了可信組合評估的計算復雜度,進一步提高了可信組合評估的計算效率；4)為驗證上述研究內容的可行性,從構建醫(yī)療大數據服務(疾病自診斷服務)的角度,討論云環(huán)境下大數據服務及其關鍵技術在醫(yī)療領域的應用。首先,結合本文提出的大數據服務應用模式,分析并獲得疾病自診斷服務的應用需求；針對該應用需求,使用可信組合評估方法,選擇QoS最優(yōu)的云服務組合方案,以響應疾病自診斷服務對計算資源和存儲資源的需求；然后,結合電子病歷大數據的處理分析需求,設計了一個疾病自診斷服務框架,以響應用戶在線自診斷的請求;進一步地,提出了一個基于概念格的電子病歷大數據分析方法,對電子病歷大數據執(zhí)行分析計算,獲得疾病自診斷模型,來幫助用戶進行疾病自診斷與分析。
【學位授予單位】：南京大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP393.09;TP311.13

【參考文獻】

中國期刊全文數據庫 前4條

1 孟小峰;慈祥;;大數據管理:概念、技術與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年01期

2 肖芳雄;黃志球;曹子寧;屠立忠;祝義;;Web服務組合功能與QoS的形式化統(tǒng)一建模和分析[J];軟件學報;2011年11期

3 馬文明;孟祥武;張玉潔;;面向非結構化P2P網絡的雙向隨機漫步搜索機制[J];軟件學報;2012年04期

4 程學旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數據系統(tǒng)和分析技術綜述[J];軟件學報;2014年09期

，

本文編號：1189559