隨著硬件成本的降低,數(shù)據(jù)的存儲(chǔ)量以及讀寫性能都得到很大的提升。同時(shí),隨著互聯(lián)網(wǎng)以及各平臺(tái)應(yīng)用用戶的不斷增加,數(shù)據(jù)的產(chǎn)生量也在爆炸性的增長(zhǎng)。目前大數(shù)據(jù)相關(guān)技術(shù)發(fā)展迅速,能夠處理數(shù)據(jù)種類逐漸增多,數(shù)據(jù)結(jié)構(gòu)也變得復(fù)雜,很多積累下來的大量數(shù)據(jù)都得以挖掘分析。本文主要敘述如何管理和計(jì)算半結(jié)構(gòu)化的文本數(shù)據(jù)以及存儲(chǔ)在數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)。本文將所有的數(shù)據(jù)以文本文件的方式存儲(chǔ)在分布式文件系統(tǒng)中,對(duì)數(shù)據(jù)進(jìn)行冗余存儲(chǔ),這樣可以提高數(shù)據(jù)的計(jì)算速度并可以防止數(shù)據(jù)丟失。本文選用Hadoop的HDFS,使用多臺(tái)機(jī)器建立大數(shù)據(jù)處理集群,使用Hadoop軟件統(tǒng)一進(jìn)行管理。在使用時(shí)提供給操作者一個(gè)可視化的web界面。通過封裝,用戶可以通過界面操作完成整個(gè)數(shù)據(jù)處理的過程,包括數(shù)據(jù)上傳、數(shù)據(jù)運(yùn)算,結(jié)果查看。數(shù)據(jù)計(jì)算部分主要通過Hadoop的yarn、封裝的MapReduce模型,并結(jié)合Hive SQL,實(shí)現(xiàn)簡(jiǎn)單的統(tǒng)計(jì)分析。運(yùn)算內(nèi)容主要為統(tǒng)計(jì)分析中常用的操作,如平均值,加權(quán)運(yùn)算,缺失值處理等。運(yùn)算結(jié)果展現(xiàn)部分主要引入百度開源前端組件Echarts,進(jìn)行簡(jiǎn)單的配置項(xiàng)封裝,可以使用戶更加靈活的設(shè)置圖表相關(guān)的配置項(xiàng)�？梢詫�(shù)據(jù)運(yùn)算結(jié)果以商業(yè)報(bào)表(柱形圖,餅形圖,折線圖等)的形式進(jìn)行展示。本文將從大數(shù)據(jù)的集群環(huán)境,web平臺(tái)的體系架構(gòu),需求分析、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)等方面進(jìn)行完整敘述,并展示部分項(xiàng)目核心代碼和效果圖。最后,將對(duì)整個(gè)工作及項(xiàng)目進(jìn)行歸納總結(jié),并指出可以優(yōu)化的部分以及擴(kuò)展開發(fā)的部分。目前,該項(xiàng)目已和上海聯(lián)通等知名企業(yè)達(dá)成合作,運(yùn)營(yíng)良好。
【學(xué)位單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP311.13;TP311.52
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究目標(biāo)及內(nèi)容
    1.4 論文組織架構(gòu)
2 相關(guān)技術(shù)與理論
    2.1 系統(tǒng)開發(fā)結(jié)構(gòu)
        2.1.1 C/S體系結(jié)構(gòu)
        2.1.2 B/S體系結(jié)構(gòu)
    2.2 MVC模式
        2.2.1 MVC模式的結(jié)構(gòu)
        2.2.2 MVC模式的特點(diǎn)
    2.3 開發(fā)語(yǔ)言：JAVA
        2.3.1 Java語(yǔ)言特性
        2.3.2 J2EE架構(gòu)
        2.3.3 J2EE開發(fā)框架
    2.4 MySQL5.5數(shù)據(jù)庫(kù)
    2.5 大數(shù)據(jù)處理框架
    2.6 管理及自動(dòng)構(gòu)建工具：Maven
    2.7 運(yùn)行環(huán)境：Linux
3 系統(tǒng)需求分析
    3.1 功能需求分析
    3.2 性能需求分析
    3.3 系統(tǒng)目標(biāo)
4 系統(tǒng)設(shè)計(jì)
    4.1 系統(tǒng)概要設(shè)計(jì)
    4.2 系統(tǒng)詳細(xì)設(shè)計(jì)
    4.3 數(shù)據(jù)庫(kù)設(shè)計(jì)
5 系統(tǒng)實(shí)現(xiàn)
    5.1 系統(tǒng)運(yùn)行環(huán)境
    5.2 普通用戶相關(guān)功能實(shí)現(xiàn)
        5.2.1 用戶注冊(cè)/登錄
        5.2.2 數(shù)據(jù)源操作
        5.2.3 數(shù)據(jù)流操作
        5.2.4 運(yùn)行結(jié)果查看
    5.3 管理員用戶相關(guān)功能實(shí)現(xiàn)
        5.3.1 用戶管理
        5.3.2 數(shù)據(jù)源/數(shù)據(jù)流管理
        5.3.3 權(quán)限管理
    5.4 數(shù)據(jù)計(jì)算相關(guān)功能實(shí)現(xiàn)
        5.4.1 數(shù)據(jù)清洗功能
        5.4.2 統(tǒng)計(jì)運(yùn)算功能
6 系統(tǒng)測(cè)試
    6.1 軟件測(cè)試概述
    6.2 兼容性測(cè)試
    6.3 測(cè)試方案
        6.3.1 單元測(cè)試
        6.3.2 集成測(cè)試
        6.3.3 壓力測(cè)試
    6.4 測(cè)試用例
        6.4.1 普通用戶相關(guān)功能
        6.4.2 管理員用戶相關(guān)功能
    6.5 測(cè)試結(jié)果
結(jié)論
參考文獻(xiàn)
致謝

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報(bào);2013年S1期

2 李國(guó)杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國(guó)科學(xué)院院刊;2012年06期

3 郝樹魁;;Hadoop HDFS和MapReduce架構(gòu)淺析[J];郵電設(shè)計(jì)技術(shù);2012年07期

4 伍志聰;;MySQL數(shù)據(jù)庫(kù)在中小型業(yè)務(wù)系統(tǒng)的應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2011年11期

5 熊瑾,陶俊才;瀏覽器/服務(wù)器結(jié)構(gòu)應(yīng)用系統(tǒng)的研究與開發(fā)[J];計(jì)算機(jī)與現(xiàn)代化;2005年08期

6 任中方,張華,閆明松,陳世福;MVC模式研究的綜述[J];計(jì)算機(jī)應(yīng)用研究;2004年10期

7 劉慧,李玉忱,蘇鵬;基于J2EE架構(gòu)的分布式Web應(yīng)用的研究[J];計(jì)算機(jī)應(yīng)用研究;2003年09期

8 程虎;Java語(yǔ)言的特點(diǎn)[J];現(xiàn)代科學(xué)儀器;1997年02期

9 員巧云;程剛;;近年來我國(guó)數(shù)據(jù)挖掘研究綜述[J];情報(bào)學(xué)報(bào);2005年02期

本文編號(hào)：2826957