本文關鍵詞：基于Hadoop的數(shù)據(jù)可視化技術研究與應用

  更多相關文章： 多數(shù)據(jù)庫環(huán)境 數(shù)據(jù)可視化 數(shù)據(jù)集成 商業(yè)數(shù)據(jù)分析

【摘要】：本課題主要研究多數(shù)據(jù)庫環(huán)境下商業(yè)數(shù)據(jù)可視化的問題,所有的業(yè)務數(shù)據(jù)存儲在不同的數(shù)據(jù)庫服務器上。由于多數(shù)據(jù)庫環(huán)境在對平臺整體數(shù)據(jù)進行可視化時,需要對各業(yè)務數(shù)據(jù)庫服務器分別進行統(tǒng)計分析,再對統(tǒng)計結果進行合并,使得數(shù)據(jù)分析階段效率較低。因此本文在研究過程中首先將分散的數(shù)據(jù)集成到數(shù)據(jù)倉庫中,然后再針對數(shù)據(jù)倉庫中的數(shù)據(jù)進行可視化數(shù)據(jù)展現(xiàn)。首先,通過對分散數(shù)據(jù)的集成方法的研究,確定了利用Hadoop技術進行分散數(shù)據(jù)集成。Hadoop生態(tài)系統(tǒng)提供的Hive工具可以用于多維數(shù)據(jù)分析,Sqoop工具可以實現(xiàn)關系型數(shù)據(jù)庫與Hadoop之間的數(shù)據(jù)傳輸。研究中利用Hive技術搭建數(shù)據(jù)倉庫,通過Sqoop技術將數(shù)據(jù)從分散的數(shù)據(jù)庫服務器加載到Hive數(shù)據(jù)倉庫中,完成可視化數(shù)據(jù)準備工作。其次,研究行業(yè)數(shù)據(jù)可視化的技術和方法,具體分析了商業(yè)數(shù)據(jù)的特點及數(shù)據(jù)展現(xiàn)形式。設計實現(xiàn)了基于SVG (Scalable Vector Graphics)的地圖可視化算法,可以將可視化數(shù)據(jù)進行維度與數(shù)量的自定義配置,使得可視化的結果更加豐富且直觀。然后,針對實際應用,從銷售分析、商品分析、客戶購物偏好、企業(yè)排名等分析視角出發(fā),利用HQL語句對集成后的經(jīng)營數(shù)據(jù)進行統(tǒng)計分析。通過對地圖、云圖、關聯(lián)圖等可視化技術的應用場景、繪制方法、數(shù)據(jù)表達方式及交互方式的研究,結合統(tǒng)計分析結果數(shù)據(jù)的存儲特征,構建可視化數(shù)據(jù)模型。最后,結合實際項目,選用可視化控件Echarts和基于SVG的地圖可視化算法對可視化數(shù)據(jù)模型進行展示,實現(xiàn)了針對商業(yè)數(shù)據(jù)分析的地圖、字符云圖、和弦圖等可視化效果。驗證了應用Hadoop技術和可視化控件實現(xiàn)商業(yè)數(shù)據(jù)可視化的技術路線的合理性。
【關鍵詞】：多數(shù)據(jù)庫環(huán)境 數(shù)據(jù)可視化 數(shù)據(jù)集成 商業(yè)數(shù)據(jù)分析
【學位授予單位】：北方工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要3-4
• Abstract4-10
• 第一章 緒論10-15
• 1.1 課題的背景及研究意義10-11
• 1.1.1 課題的背景10
• 1.1.2 課題的研究意義10-11
• 1.2 課題相關技術的國內外研究現(xiàn)狀11-13
• 1.2.1 可視化技術國內外研究現(xiàn)狀11-12
• 1.2.2 Hadoop技術國內外研究現(xiàn)狀12-13
• 1.3 課題主要研究內容13-14
• 1.3.1 數(shù)據(jù)集成技術研究13
• 1.3.2 可視化理論與技術研究13
• 1.3.3 Hadoop與分布式數(shù)據(jù)處理技術研究13-14
• 1.4 論文組織結構14-15
• 第二章 相關理論與技術研究15-24
• 2.1 可視化相關技術研究15-18
• 2.1.1 可視化的定義15
• 2.1.2 可視化的基本流程15-16
• 2.1.3 可視化的主要布局方法16-18
• 2.1.4 可視化的主要技術18
• 2.2 客戶端繪圖技術研究18-20
• 2.2.1 可縮放矢量圖形SVG18
• 2.2.2 HTML畫布元素Canvas18-19
• 2.2.3 SVG和Canvas的對比19-20
• 2.3 當前主流的web前端可視化工具庫20-21
• 2.4 Hadoop平臺相關技術研究21-23
• 2.4.1 HDFS分布式文件系統(tǒng)21
• 2.4.2 MapReduce并行計算框架21
• 2.4.3 Hive數(shù)據(jù)倉庫21-22
• 2.4.4 HBase數(shù)據(jù)庫22
• 2.4.5 Sqoop數(shù)據(jù)遷移工具22-23
• 2.5 DBLINK數(shù)據(jù)庫鏈接技術研究23
• 2.6 數(shù)據(jù)集成技術研究23
• 2.7 本章小結23-24
• 第三章 數(shù)據(jù)可視化方法分析與研究24-34
• 3.1 行業(yè)數(shù)據(jù)特征及其可視化呈現(xiàn)形式研究24-25
• 3.1.1 數(shù)據(jù)特征研究24
• 3.1.2 面向行業(yè)的數(shù)據(jù)可視化方式24-25
• 3.2 商業(yè)數(shù)據(jù)可視化研究25-27
• 3.2.1 商業(yè)數(shù)據(jù)的特點25-26
• 3.2.2 商業(yè)數(shù)據(jù)可視化的形式26-27
• 3.3 數(shù)據(jù)分析27-28
• 3.3.1 數(shù)據(jù)可視化需求分析27
• 3.3.2 可視化主題分析27-28
• 3.4 Map地圖可視化算法研究28-33
• 3.4.1 Map可視化算法的基本思想28-29
• 3.4.2 基于SVG地圖繪制算法的研究29-31
• 3.4.3 數(shù)據(jù)到顏色的映射31-32
• 3.4.4 交互事件處理32-33
• 3.5 本章小結33-34
• 第四章 基于Hadoop的數(shù)據(jù)可視化平臺實現(xiàn)與應用34-50
• 4.1 數(shù)據(jù)可視化平臺整體方案34-35
• 4.1.1 平臺整體技術方案34-35
• 4.1.2 Hadoop數(shù)據(jù)預處理35
• 4.2 數(shù)據(jù)集成方案的設計與實現(xiàn)35-41
• 4.2.1 搭建Hive數(shù)據(jù)倉庫35-36
• 4.2.2 數(shù)據(jù)加載36-39
• 4.2.3 數(shù)據(jù)轉換39-41
• 4.3 數(shù)據(jù)分析與可視化的設計與實現(xiàn)41-45
• 4.3.1 數(shù)據(jù)分析主題的設計與實現(xiàn)41-43
• 4.3.2 模型數(shù)據(jù)存儲結構設計與實現(xiàn)43-44
• 4.3.3 可視化數(shù)據(jù)模型設計與實現(xiàn)44-45
• 4.4 可視化圖形繪制功能的實現(xiàn)45-47
• 4.4.1 Echarts的引入45-46
• 4.4.2 Echarts圖形的繪制46-47
• 4.4.3 SVG地圖的繪制47
• 4.5 可視化平臺應用集成的實現(xiàn)47-49
• 4.6 本章小結49-50
• 第五章 實驗結果分析50-56
• 5.1 實驗環(huán)境50-52
• 5.1.1 硬件環(huán)境介紹50
• 5.1.2 軟件環(huán)境介紹50-51
• 5.1.3 實驗數(shù)據(jù)準備51-52
• 5.2 商業(yè)數(shù)據(jù)可視化結果展示52-55
• 5.2.1 銷售信息可視化結果展示52
• 5.2.2 企業(yè)信息可視化結果展示52-53
• 5.2.3 商品信息可視化結果展示53-54
• 5.2.4 倉庫信息的結果展示54-55
• 5.3 實驗結果分析55-56
• 第六章 總結與展望56-58
• 6.1 總結56
• 6.2 展望56-58
• 參考文獻58-61
• 在學期間的研究成果61-62
• 致謝62

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 姚遠;;數(shù)據(jù)可視化技術實現(xiàn)流程探討[J];軟件導刊;2010年05期

2 趙巾幗;羅慶云;;基于網(wǎng)絡的數(shù)據(jù)可視化研究與實現(xiàn)[J];大慶師范學院學報;2010年06期

3 任思雨;;數(shù)字時代數(shù)據(jù)可視化的類型及其特征[J];傳播與版權;2014年03期

4 陳建軍,于志強,朱昀;數(shù)據(jù)可視化技術及其應用[J];紅外與激光工程;2001年05期

5 劉勘,周曉崢,周洞汝;數(shù)據(jù)可視化的研究與發(fā)展[J];計算機工程;2002年08期

6 劉緒崇,鄧蘇,楊強,陳衛(wèi)東;基于數(shù)據(jù)管技術的證券數(shù)據(jù)可視化[J];計算機工程與設計;2003年06期

7 肖湘萍,尹志喜;數(shù)據(jù)可視化在流場數(shù)值模擬中的應用研究[J];華北工學院學報;2004年02期

8 任永功;于戈;;數(shù)據(jù)可視化技術的研究與進展[J];計算機科學;2004年12期

9 韓麗娜;;數(shù)據(jù)可視化技術及其應用展望[J];煤礦現(xiàn)代化;2005年06期

10 丁毅;王媛媛;紀亮;任柯燕;;數(shù)據(jù)可視化技術在客流展示中的應用研究[J];計算機與信息技術;2006年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉勘;周洞汝;;大型數(shù)據(jù)庫中的數(shù)據(jù)可視化技術[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2001年

2 袁永菊;;數(shù)據(jù)可視化技術在飛機改裝中的應用研究[A];探索 創(chuàng)新 交流（第4集）——第四屆中國航空學會青年科技論壇文集[C];2010年

3 石昊蘇;韓麗娜;;數(shù)據(jù)可視化技術及其應用展望[A];全國自動化新技術學術交流會會議論文集（一）[C];2005年

4 夏菁;劉真;胡越琦;陳為;彭帝超;;基于超圖的骨生物數(shù)據(jù)可視化研究[A];第五屆全國幾何設計與計算學術會議論文集[C];2011年

5 陳進生;羅月童;;輪廓樹及其在體數(shù)據(jù)可視化中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

6 羅雄飛;廖再飛;劉偉;;流程工業(yè)多尺度數(shù)據(jù)可視化系統(tǒng)的設計與應用[A];2009中國過程系統(tǒng)工程年會暨中國mes年會論文集[C];2009年

7 謝跟蹤;陳文惠;鄭達賢;;基于Map Info的福建省經(jīng)濟數(shù)據(jù)可視化研究[A];地圖學與GIS學術討論會論文集[C];2002年

8 王延紅;王宏亮;林成地;高菲;;基于VisIt的Fluent程序結果數(shù)據(jù)可視化[A];第十六屆全國流體力學數(shù)值方法研討會2013論文集[C];2013年

9 宋秀紅;張維石;;基于RAD的網(wǎng)站用戶瀏覽數(shù)據(jù)可視化工具研究[A];全國第十五屆計算機科學與技術應用學術會議論文集[C];2003年

10 周楊;徐青;藍朝楨;李建勝;;深空探測地理數(shù)據(jù)可視化[A];第十四屆全國圖象圖形學學術會議論文集[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前4條

1 國家統(tǒng)計局教育中心 寧紅;數(shù)據(jù)可視化對服務型統(tǒng)計建設的啟示[N];中國信息報;2013年

2 北京永洪商智科技有限公司 何春濤;一周實現(xiàn)大數(shù)據(jù)可視化分析[N];中國計算機報;2014年

3 本報記者 于杰;讓POI數(shù)據(jù)可視化[N];中國計算機報;2014年

4 邱燕娜;從汶川地震話位置智能[N];中國計算機報;2008年

中國博士學位論文全文數(shù)據(jù)庫 前7條

1 任永功;面向聚類的數(shù)據(jù)可視化方法及相關技術研究[D];東北大學;2006年

2 馬仁安;基于微機的三維地震數(shù)據(jù)可視化技術研究[D];南京理工大學;2004年

3 華崗;地震體數(shù)據(jù)可視化與分析研究[D];浙江大學;2011年

4 周璐;復雜向量場數(shù)據(jù)可視化技術研究與實現(xiàn)[D];中國人民解放軍國防科學技術大學;2000年

5 梁秀霞;醫(yī)學影像數(shù)據(jù)可視化中若干問題研究[D];山東大學;2006年

6 常鳳香;基于生物電阻抗測量原理的經(jīng)絡診斷數(shù)據(jù)可視化方法研究[D];燕山大學;2012年

7 蔣志方;城市空氣質量預測模型與數(shù)據(jù)可視化方法研究[D];山東大學;2011年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 曾悠;大數(shù)據(jù)時代背景下的數(shù)據(jù)可視化概念研究[D];浙江大學;2014年

2 石雪萍;網(wǎng)易“數(shù)讀”專欄報道特色研究[D];河北大學;2015年

3 陳欣;《21世紀經(jīng)濟報道—飛笛金融圈》金融新聞的數(shù)據(jù)可視化研究[D];河北大學;2015年

4 張健;基于WebGIS的農(nóng)業(yè)地理數(shù)據(jù)可視化技術研究及應用[D];浙江大學;2015年

5 龔旭超;基于webGL的交互繪制應用研究[D];浙江大學;2015年

6 臧若蒙;面向車輛監(jiān)控系統(tǒng)的海量數(shù)據(jù)可視化研究[D];大連海事大學;2015年

7 劉迪珊;試驗數(shù)據(jù)云平臺中數(shù)據(jù)可視化的設計與實現(xiàn)[D];西安電子科技大學;2014年

8 朱會國;直觀高效的體數(shù)據(jù)可視化方法的設計與研究[D];合肥工業(yè)大學;2014年

9 呂佩吾;火電廠生產(chǎn)運行數(shù)據(jù)可視化平臺的研究與實現(xiàn)[D];華北電力大學;2015年

10 戴啟濤;面向終端的移動用戶行為可視化分析[D];清華大學;2014年

，

本文編號：1055402