發(fā)布時(shí)間：2020-11-13 05:32

　　 隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展和普及,越來(lái)越多用戶選擇網(wǎng)約車服務(wù)作為出行的首選,互聯(lián)網(wǎng)企業(yè)也因此收集了海量的數(shù)據(jù)。用戶在享受移動(dòng)出行服務(wù)中產(chǎn)生的數(shù)據(jù)被存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中,用以支持分析和決策,然而基于Hive的數(shù)據(jù)倉(cāng)庫(kù)存在查詢速度慢、操作復(fù)雜、元數(shù)據(jù)和指標(biāo)意義不清晰、數(shù)據(jù)質(zhì)量無(wú)法保證等問(wèn)題。數(shù)據(jù)服務(wù)化系統(tǒng)為了讓數(shù)據(jù)更好的為用戶服務(wù),讓用戶更好的使用已構(gòu)建好的數(shù)據(jù)倉(cāng)庫(kù),提供以下服務(wù):利用HBase查詢速度快但是不支持復(fù)雜Join的特點(diǎn),提供實(shí)時(shí)查詢數(shù)據(jù)集市中數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析處理(Online Analytical Processing,OLAP)服務(wù),解決用戶使用Hive查詢速度慢的問(wèn)題;數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)和指標(biāo)查詢,讓用戶不必為報(bào)表中的指標(biāo)和元數(shù)據(jù)意義不明確而困擾。同時(shí),由于數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)需要業(yè)務(wù)人員基于業(yè)務(wù)數(shù)據(jù)進(jìn)行二次開(kāi)發(fā),本系統(tǒng)為數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)人員提供以下服務(wù)功能:保證數(shù)據(jù)質(zhì)量,維護(hù)數(shù)據(jù)的一致性和準(zhǔn)確性;元數(shù)據(jù)的創(chuàng)建和維護(hù);HBase中數(shù)據(jù)立方體的構(gòu)建,實(shí)時(shí)查詢用于支持OLAP。保證數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)人員在日常工作中順利的產(chǎn)出數(shù)據(jù)。按照需求分析和功能劃分,系統(tǒng)共有元數(shù)據(jù)中心、指標(biāo)字典、數(shù)據(jù)服務(wù)化配置中心、報(bào)表系統(tǒng)四個(gè)模塊。系統(tǒng)采用四層架構(gòu)模型降低了系統(tǒng)各模塊之間的耦合度,采用My SQ作為業(yè)務(wù)數(shù)據(jù)庫(kù)和HBase作為No SQL數(shù)據(jù)庫(kù),并最終根據(jù)測(cè)試結(jié)果和用戶反饋不斷進(jìn)行迭代優(yōu)化。數(shù)據(jù)服務(wù)化系統(tǒng)已在企業(yè)內(nèi)上線運(yùn)行,幫助普通用戶解決日常工作中使用數(shù)據(jù)倉(cāng)庫(kù)遇到的問(wèn)題,幫助數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)人員更高效的進(jìn)行數(shù)據(jù)開(kāi)發(fā),保證數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)可以更好的為用戶服務(wù)。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP311.52
【部分圖文】：

圖 1-1 數(shù)據(jù)立方體物理模型圖Cube 構(gòu)建采用的傳統(tǒng)算法是逐層算法[34]，已知一個(gè) N 維的 Cube 可以組合出 的 N 次方個(gè) cuboid，也就是 2 的 N 次方個(gè)子 Cube，其中包括 1 個(gè) N 維的子 CubeN 個(gè)(N-1)維的子 Cube，N*(N-1)/2 個(gè)(N-2)維子 Cube…N 個(gè) 1 維的子 Cube， 1 個(gè)

圖 1-2 逐層算法模型圖Kylin 中采用的另一個(gè) Cube 構(gòu)建算法是快速 Cube 算法，如圖 1-3 所示快速 Cube算法的主要思想是將給 map 任務(wù)分配的所有的數(shù)據(jù)塊，都視為一個(gè)小的 Cube 進(jìn)行計(jì)算，其中包括全部的 Cuboid；每個(gè)小的 Cube 計(jì)算完成后將計(jì)算結(jié)果輸入給 Reduce

快速Cube算法模型圖
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孔曉華;;OLAP技術(shù)在進(jìn)口圖書數(shù)據(jù)分析中的應(yīng)用研究[J];電子科學(xué)技術(shù);2015年04期

2 任磊;杜一;馬帥;張小龍;戴國(guó)忠;;大數(shù)據(jù)可視分析綜述[J];軟件學(xué)報(bào);2014年09期

3 宋杰;郭朝鵬;王智;張一川;于戈;Jean-Marc PIERSON;;大數(shù)據(jù)分析的分布式MOLAP技術(shù)[J];軟件學(xué)報(bào);2014年04期

4 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

5 孟小峰;李勇;祝建華;;社會(huì)計(jì)算:大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年12期

6 劉師語(yǔ);周淵平;杜江;;基于HADOOP分布式系統(tǒng)的數(shù)據(jù)處理分析[J];通信技術(shù);2013年09期

7 李玉林;董晶;;基于Hadoop的MapReduce模型的研究與改進(jìn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2012年08期

8 郝樹(shù)魁;;Hadoop HDFS和MapReduce架構(gòu)淺析[J];郵電設(shè)計(jì)技術(shù);2012年07期

9 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開(kāi)發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

本文編號(hào)：2881804