在“互聯(lián)網(wǎng)+教育”的時(shí)代背景下,高校在校園信息化建設(shè)的過(guò)程中積累了大量的數(shù)據(jù),做好數(shù)據(jù)的治理和服務(wù)從而優(yōu)化信息化服務(wù)環(huán)境,是新時(shí)代高校信息化建設(shè)面臨的新課題。同時(shí),高校網(wǎng)站作為信息化服務(wù)環(huán)境的重要組成部分,功能日益豐富多樣。其作用不僅是進(jìn)行信息發(fā)布,更是開展交流,提供服務(wù)的重要途徑和有效手段。因此,通過(guò)分析高校的網(wǎng)站日志,獲取網(wǎng)站的受訪信息,從而了解用戶的訪問(wèn)態(tài)勢(shì),對(duì)網(wǎng)站建設(shè)者和管理者具有重要的意義。然而目前通過(guò)分析網(wǎng)站日志數(shù)據(jù)來(lái)獲取網(wǎng)站建設(shè)情況的高校還相對(duì)較少。部分院校采用傳統(tǒng)的通過(guò)網(wǎng)頁(yè)收集信息的方法效率低下,信息量少,實(shí)時(shí)性較差。運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)研發(fā)針對(duì)高校的網(wǎng)站日志分析系統(tǒng),能夠直觀、準(zhǔn)確、全方位的反應(yīng)網(wǎng)站的受訪情況,對(duì)提升高校信息化的智能程度具有重要的意義。本文以高校網(wǎng)站日志分析系統(tǒng)的研究與實(shí)現(xiàn)為研究?jī)?nèi)容,在對(duì)Spark現(xiàn)有功能研究的基礎(chǔ)上,結(jié)合多種分布式技術(shù),提出了一種對(duì)網(wǎng)站日志數(shù)據(jù)進(jìn)行動(dòng)態(tài)并行分析的流式批處理方法。探討了網(wǎng)站日志分析過(guò)程中所用到的關(guān)鍵技術(shù),分析了高校網(wǎng)站日志分析系統(tǒng)的功能需求。并在此基礎(chǔ)上梳理了網(wǎng)站日志分析系統(tǒng)的設(shè)計(jì)流程,從日志的采集、日志的緩存、日志的分... 

【文章來(lái)源】：西北大學(xué)陜西省 211工程院校

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語(yǔ)對(duì)照表
第一章 緒論
    1.1 研究的背景與意義
        1.1.1 研究的背景
        1.1.2 研究的意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文主要的研究工作
    1.4 論文的組織結(jié)構(gòu)
第二章 關(guān)鍵技術(shù)研究
    2.1 數(shù)據(jù)采集技術(shù)
    2.2 數(shù)據(jù)緩存技術(shù)
        2.2.1 Kafka緩存隊(duì)列
        2.2.2 Zookeeper分布式協(xié)調(diào)服務(wù)
    2.3 數(shù)據(jù)分析技術(shù)
        2.3.1 大數(shù)據(jù)分析技術(shù)
        2.3.2 日志數(shù)據(jù)分析方法
    2.4 數(shù)據(jù)存儲(chǔ)技術(shù)
    2.5 可視化相關(guān)技術(shù)
        2.5.1 SpringBoot
        2.5.2 MyBatis
        2.5.3 Web前端技術(shù)
    2.6 小結(jié)
第三章 系統(tǒng)需求分析
    3.1 系統(tǒng)的整體需求分析
        3.1.1 系統(tǒng)的功能性需求分析
        3.1.2 系統(tǒng)的非功能性需求分析
    3.2 系統(tǒng)中各個(gè)模塊的功能需求
    3.3 小結(jié)
第四章 系統(tǒng)的詳細(xì)設(shè)計(jì)
    4.1 系統(tǒng)的總體架構(gòu)
    4.2 日志采集模塊的設(shè)計(jì)
    4.3 日志緩存模塊的設(shè)計(jì)
    4.4 日志分析模塊的設(shè)計(jì)
        4.4.1 日志數(shù)據(jù)預(yù)處理
        4.4.2 日志數(shù)據(jù)分析
        4.4.3 集群運(yùn)行
    4.5 結(jié)果存儲(chǔ)模塊的設(shè)計(jì)
    4.6 動(dòng)態(tài)可視化模塊的設(shè)計(jì)
    4.7 小結(jié)
第五章 系統(tǒng)的功能實(shí)現(xiàn)
    5.1 系統(tǒng)的環(huán)境配置
    5.2 日志采集模塊的實(shí)現(xiàn)
    5.3 日志緩存模塊的實(shí)現(xiàn)
    5.4 日志分析模塊的實(shí)現(xiàn)
    5.5 動(dòng)態(tài)可視化模塊的實(shí)現(xiàn)
    5.6 系統(tǒng)測(cè)試
    5.7 小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間取得的科研成果


【參考文獻(xiàn)】：
期刊論文
[1]基于Kafka的分布式能效管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 朱幼普,盧軍.  計(jì)算機(jī)與數(shù)字工程. 2018(12)
[2]基于大數(shù)據(jù)和人工智能的高校信息化服務(wù)研究[J]. 楊龍.  實(shí)驗(yàn)技術(shù)與管理. 2018(11)
[3]智慧校園建設(shè)中大數(shù)據(jù)技術(shù)的應(yīng)用[J]. 李國(guó)平.  教育現(xiàn)代化. 2018(43)
[4]基于Spark Streaming的實(shí)時(shí)交通數(shù)據(jù)處理平臺(tái)[J]. 譚亮,周靜.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(10)
[5]基于教育大數(shù)據(jù)生態(tài)體系的高校智慧校園建設(shè)研究[J]. 余鵬,李艷.  中國(guó)電化教育. 2018(06)
[6]大數(shù)據(jù)技術(shù)在智慧校園中的應(yīng)用研究[J]. 陳向東,李靜蕾.  電腦知識(shí)與技術(shù). 2018(15)
[7]數(shù)據(jù)庫(kù)技術(shù)的發(fā)展[J]. 黃麗.  科技風(fēng). 2018(14)
[8]大數(shù)據(jù)技術(shù)在智慧校園管理中的應(yīng)用[J]. 邵莉.  電子技術(shù)與軟件工程. 2018(08)
[9]SpringBoot框架在web應(yīng)用開發(fā)中的探討[J]. 呂宇琛.  科技創(chuàng)新導(dǎo)報(bào). 2018(08)
[10]網(wǎng)絡(luò)安全日志可視化分析研究進(jìn)展[J]. 張勝,趙玨,陳榮元.  計(jì)算機(jī)科學(xué)與探索. 2018(05)

博士論文
[1]大數(shù)據(jù)對(duì)我國(guó)高校教育管理的影響及對(duì)策研究[D]. 陳桂香.武漢大學(xué) 2017
[2]基于數(shù)據(jù)挖掘的Web日志分析研究[D]. 李春雅.武漢大學(xué) 2016

碩士論文
[1]云環(huán)境下流式數(shù)據(jù)預(yù)處理機(jī)制優(yōu)化研究[D]. 劉威.南京郵電大學(xué) 2018
[2]基于ZooKeeper的配置中心系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 董龍成.西安電子科技大學(xué) 2018
[3]基于Spark的用戶行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 殷樂.戰(zhàn)略支援部隊(duì)信息工程大學(xué) 2018
[4]基于ELK Stack的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王裕辰.北京郵電大學(xué) 2018
[5]國(guó)內(nèi)外大數(shù)據(jù)教育應(yīng)用研究的對(duì)比研究[D]. 凌霄.深圳大學(xué) 2017
[6]面向移動(dòng)新聞的日志收集分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 傅韌嶠.北京交通大學(xué) 2017
[7]多終端一體化高校網(wǎng)站群研究與應(yīng)用[D]. 趙文科.西北大學(xué) 2017
[8]基于Kafka的日志處理平臺(tái)的研究[D]. 費(fèi)秀宏.吉林大學(xué) 2017
[9]基于Storm的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 屈國(guó)慶.南京大學(xué) 2016
[10]四川移動(dòng)PUSH信息服務(wù)云模塊的設(shè)計(jì)與實(shí)現(xiàn)[D]. 譚典.電子科技大學(xué) 2015



本文編號(hào)：3058130