本文關(guān)鍵詞：基于Storm的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：海量實(shí)時(shí)計(jì)算作為大數(shù)據(jù)計(jì)算的重要組成部分,實(shí)時(shí)日志數(shù)據(jù)分析正在逐漸成為各個(gè)公司或互聯(lián)網(wǎng)產(chǎn)品依賴的重要需求。實(shí)時(shí)海量日志數(shù)據(jù)計(jì)算正應(yīng)用在實(shí)時(shí)分析統(tǒng)計(jì),實(shí)時(shí)推薦,實(shí)時(shí)風(fēng)控,實(shí)時(shí)監(jiān)控和個(gè)性化推薦服務(wù)等應(yīng)用場(chǎng)景中。根據(jù)用戶對(duì)海量日志數(shù)據(jù)的實(shí)時(shí)性處理需求,本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Storm的實(shí)時(shí)日志分析系統(tǒng)。本文的工作主要包括：1)詳細(xì)介紹本系統(tǒng)的研究背景、所涉及到的技術(shù)。同時(shí)詳細(xì)說(shuō)明了系統(tǒng)的設(shè)計(jì)和功能需求,系統(tǒng)整體架構(gòu)以及相關(guān)模塊架構(gòu),重點(diǎn)包括了系統(tǒng)前后端的詳細(xì)實(shí)現(xiàn)。2)分布式收集模塊采用Flume技術(shù)實(shí)現(xiàn)多源異構(gòu)的日志數(shù)據(jù)收集、分發(fā)和存儲(chǔ)功能,該技術(shù)具有分布式、可擴(kuò)展、容錯(cuò)、高性能的優(yōu)點(diǎn)。3)異步通信模塊采用Kafka技術(shù)實(shí)現(xiàn)收集模塊和處理模塊之間的解耦作用,該技術(shù)最大的優(yōu)點(diǎn)是高性能,吞吐量大。4)實(shí)時(shí)數(shù)據(jù)分析模塊采用的是Storm技術(shù),Storm以數(shù)據(jù)流的形式流式處理,能夠高性能實(shí)時(shí)處理源源不斷地?cái)?shù)據(jù)。本系統(tǒng)解決了分布式收集異源日志數(shù)據(jù),實(shí)時(shí)計(jì)算,數(shù)據(jù)處理復(fù)雜和分析結(jié)果展示等問(wèn)題,實(shí)現(xiàn)了海量異源日志數(shù)據(jù)的收集功能、數(shù)據(jù)異步通信功能、實(shí)時(shí)處理日志數(shù)據(jù)功能和實(shí)時(shí)查詢結(jié)果數(shù)據(jù)功能,提供一套穩(wěn)定的、易擴(kuò)展的,分布式的,高性能海量日志數(shù)據(jù)實(shí)時(shí)分析系統(tǒng)。
【關(guān)鍵詞】：Storm 海量日志數(shù)據(jù) 實(shí)時(shí)分析 Kafka
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52
【目錄】：

• 摘要5-6
• Abstract6-13
• 第一章 緒論13-18
• 1.1 項(xiàng)目背景與意義13-14
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀14-16
• 1.3 本文主要研究的工作16-17
• 1.4 本文的組織結(jié)構(gòu)17-18
• 第二章 相關(guān)技術(shù)綜述18-32
• 2.1 大數(shù)據(jù)處理概述18-21
• 2.1.1 批處理技術(shù)概述18-19
• 2.1.2 實(shí)時(shí)處理技術(shù)概述19-21
• 2.2 Storm實(shí)時(shí)處理技術(shù)21-26
• 2.2.1 Storm計(jì)算框架介紹21-24
• 2.2.2 Storm技術(shù)處理模型24-26
• 2.3 Kafka技術(shù)介紹26-28
• 2.4 SpringMVC框架介紹28-29
• 2.5 Zookeeper分布式管理介紹29-31
• 2.6 本章小結(jié)31-32
• 第三章 實(shí)時(shí)日志分析系統(tǒng)總體設(shè)計(jì)32-45
• 3.1 系統(tǒng)功能需求和分析32-34
• 3.2 系統(tǒng)總體設(shè)計(jì)與模塊設(shè)計(jì)34-40
• 3.2.1 總體結(jié)構(gòu)34-35
• 3.2.2 分布式日志收集模塊35-36
• 3.2.3 異步通信模塊36-37
• 3.2.4 日志分析計(jì)算模塊37-38
• 3.2.5 結(jié)果數(shù)據(jù)存儲(chǔ)模塊38
• 3.2.6 結(jié)果展示模塊38-39
• 3.2.7 緩存模塊39-40
• 3.3 系統(tǒng)數(shù)據(jù)表設(shè)計(jì)40-42
• 3.3.1 日志源表設(shè)計(jì)40
• 3.3.2 異常表設(shè)計(jì)40-41
• 3.3.3 異常數(shù)據(jù)表設(shè)計(jì)41-42
• 3.3.4 Nginx_access表設(shè)計(jì)42
• 3.4 系統(tǒng)關(guān)鍵流程42-44
• 3.5 本章小結(jié)44-45
• 第四章 實(shí)時(shí)日志分析系統(tǒng)后端模塊45-55
• 4.1 Storm計(jì)算模塊的整體架構(gòu)45-47
• 4.1.1 問(wèn)題分析45-46
• 4.1.2 系統(tǒng)后端模塊整體架構(gòu)46-47
• 4.2 系統(tǒng)后端模塊數(shù)據(jù)處理流程47-48
• 4.3 Storm實(shí)時(shí)計(jì)算模塊代碼實(shí)現(xiàn)與設(shè)計(jì)48-54
• 4.3.1 Topology計(jì)算拓?fù)淙蝿?wù)的提交48-49
• 4.3.2 Spout節(jié)點(diǎn)實(shí)現(xiàn)49-51
• 4.3.3 解析日志的Bolt節(jié)點(diǎn)實(shí)現(xiàn)51-52
• 4.3.4 過(guò)濾日志的Bolt節(jié)點(diǎn)實(shí)現(xiàn)52-53
• 4.3.5 分析日志的Bolt節(jié)點(diǎn)實(shí)現(xiàn)53-54
• 4.4 本章小結(jié)54-55
• 第五章 實(shí)時(shí)日志分析系統(tǒng)Web模塊55-68
• 5.1 分析結(jié)果的展示模塊整體架構(gòu)55-56
• 5.1.1 問(wèn)題分析55-56
• 5.1.2 系統(tǒng)前端模塊整體架構(gòu)56
• 5.2 系統(tǒng)前端模塊用戶請(qǐng)求處理流程56-59
• 5.3 系統(tǒng)Web模塊代碼實(shí)現(xiàn)與設(shè)計(jì)59-63
• 5.3.1 Controller層代碼的實(shí)現(xiàn)59-60
• 5.3.2 Service層代碼的實(shí)現(xiàn)60-61
• 5.3.3 DAO層代碼的實(shí)現(xiàn)61-63
• 5.4 系統(tǒng)使用示例與性能分析63-67
• 5.4.1 系統(tǒng)使用示例63-66
• 5.4.2 系統(tǒng)性能分析66-67
• 5.5 本章小結(jié)67-68
• 第六章 總結(jié)與展望68-70
• 6.1 論文總結(jié)68
• 6.2 進(jìn)一步工作展望68-70
• 參考文獻(xiàn)70-72
• 致謝72-74

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 白亞魯;;云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究[J];軟件;2013年05期

2 王潤(rùn)華;;基于Hadoop集群的分布式日志分析系統(tǒng)研究[J];科技信息;2009年15期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 曾明宇;一種基于Storm和Mongodb的分布式實(shí)時(shí)日志數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)及應(yīng)用[D];浙江大學(xué);2015年

  本文關(guān)鍵詞：基于Storm的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：291159