針對傳統(tǒng)數(shù)據(jù)中心ETL與聯(lián)邦數(shù)據(jù)庫技術在應對大數(shù)據(jù)處理時存在的不足,采用模塊化和彈性設計,整合hive、hbase和impala等多種交互式數(shù)據(jù)引擎,構建基于haloop的虛擬化云數(shù)據(jù)平臺,為各類數(shù)據(jù)應用請求方提供快速的數(shù)據(jù)訪問服務.研究結果表明,虛擬化云數(shù)據(jù)中心集成方案數(shù)據(jù)處理能力強,具有良好的擴展性,能夠實現(xiàn)對現(xiàn)有的各種應用及業(yè)務系統(tǒng)的集成和配置,從而為新一代數(shù)字校園提供了更加有效的支持. 

【文章來源】：內(nèi)蒙古師范大學學報(自然科學漢文版). 2016年03期 北大核心

【文章頁數(shù)】：6 頁

【部分圖文】：

圖２虛擬化云數(shù)據(jù)中心物理架構圖Ｆｉｇ．２Ｔｈｅｐｈｙｓｉｃａｌｓｔｒｕｃｔｕｒｅｃｈａｒｔｏｆｔｈｅｖｉｒｔｕａｌｃｌｏｕｄｄａｔａｃｅｎｔｅｒ數(shù)查問據(jù)前據(jù)供高

內(nèi)蒙古師范大學學報（自然科學漢文版）第４５卷數(shù)據(jù)整合度，數(shù)據(jù)中心的前臺服務和后臺數(shù)據(jù)部分可靈活更換，方案的應用場景在高校信息化建設中具有很強的普適性．在虛擬化集群下，對多數(shù)據(jù)引擎進行綜合性能測試，以Ｉ／Ｏ的操作速度和平均響應時間這兩個性能指標進行測試和對比，測試結果見圖３和圖４．圖３吞吐量隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ圖４平均響應時間隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小結本文在研究數(shù)據(jù)集成與云計算技術的基礎上，提出了一種基于ｈａｌｏｏｐ的交互式多數(shù)據(jù)查詢引擎集成方案，并利用虛擬化技術構建共享云數(shù)據(jù)中心．虛擬化云數(shù)據(jù)中心作為一種新的云數(shù)據(jù)集成解決方案，功能強大，性能穩(wěn)定，支持大數(shù)據(jù)并行處理，具有良好的可擴展性，為大數(shù)據(jù)分析、實時查詢及大數(shù)據(jù)分析提供了底層支持．今后還應著手進行架構的優(yōu)化和前端云服務及應用的開發(fā)，以獲得更高的運維效率和更好的用戶體驗．參考文獻：［１］劉曉茜．云計算數(shù)據(jù)中心結構及其調(diào)度機制研究［Ｄ］．合肥：中國科學技術大學網(wǎng)絡信息中心，２０１１（３）：１１－３９．［２］陳躍國，王京春．數(shù)據(jù)集成綜述［Ｊ］．計算機科學，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ權威指南［Ｍ］．北京：清華大學出版社，２０１０：５１－５３．［４

內(nèi)蒙古師范大學學報（自然科學漢文版）第４５卷數(shù)據(jù)整合度，數(shù)據(jù)中心的前臺服務和后臺數(shù)據(jù)部分可靈活更換，方案的應用場景在高校信息化建設中具有很強的普適性．在虛擬化集群下，對多數(shù)據(jù)引擎進行綜合性能測試，以Ｉ／Ｏ的操作速度和平均響應時間這兩個性能指標進行測試和對比，測試結果見圖３和圖４．圖３吞吐量隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ圖４平均響應時間隨并發(fā)連接數(shù)的變化情況Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小結本文在研究數(shù)據(jù)集成與云計算技術的基礎上，提出了一種基于ｈａｌｏｏｐ的交互式多數(shù)據(jù)查詢引擎集成方案，并利用虛擬化技術構建共享云數(shù)據(jù)中心．虛擬化云數(shù)據(jù)中心作為一種新的云數(shù)據(jù)集成解決方案，功能強大，性能穩(wěn)定，支持大數(shù)據(jù)并行處理，具有良好的可擴展性，為大數(shù)據(jù)分析、實時查詢及大數(shù)據(jù)分析提供了底層支持．今后還應著手進行架構的優(yōu)化和前端云服務及應用的開發(fā)，以獲得更高的運維效率和更好的用戶體驗．參考文獻：［１］劉曉茜．云計算數(shù)據(jù)中心結構及其調(diào)度機制研究［Ｄ］．合肥：中國科學技術大學網(wǎng)絡信息中心，２０１１（３）：１１－３９．［２］陳躍國，王京春．數(shù)據(jù)集成綜述［Ｊ］．計算機科學，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ權威指南［Ｍ］．北京：清華大學出版社，２０１０：５１－５３．［４

【參考文獻】：
期刊論文
[1]數(shù)據(jù)中心網(wǎng)絡的研究進展與趨勢[J]. 李丹,陳貴海,任豐原,蔣長林,徐明偉.  計算機學報. 2014(02)
[2]云數(shù)據(jù)管理系統(tǒng)中查詢技術研究綜述[J]. 史英杰,孟小峰.  計算機學報. 2013(02)
[3]云數(shù)據(jù)庫研究[J]. 林子雨,賴永炫,林琛,謝怡,鄒權.  軟件學報. 2012(05)
[4]大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J]. 覃雄派,王會舉,杜小勇,王珊.  軟件學報. 2012(01)
[5]一種基于T-ETL架構的多源異構數(shù)據(jù)集成方案[J]. 馬將,楊學敏.  唐山學院學報. 2010(06)
[6]分布式過程實時數(shù)據(jù)集成方法及其實現(xiàn)[J]. 薛堯予,王建林,趙利強.  計算機工程. 2010(03)
[7]數(shù)據(jù)集成綜述[J]. 陳躍國,王京春.  計算機科學. 2004(05)

博士論文
[1]云計算數(shù)據(jù)中心結構及其調(diào)度機制研究[D]. 劉曉茜.中國科學技術大學 2011



本文編號：2931648