數(shù)據(jù)云服務(wù)平臺是針對當前多系統(tǒng)應(yīng)用中,由于各系統(tǒng)自行收集、存儲日志數(shù)據(jù)而產(chǎn)生的數(shù)據(jù)格式多樣、數(shù)據(jù)交換困難、存儲資源浪費、數(shù)據(jù)統(tǒng)計分析流程復(fù)雜等一系列問題而提出的解決方案。論文以設(shè)計并實現(xiàn)數(shù)據(jù)云服務(wù)平臺為目標,基于分布式日志系統(tǒng),結(jié)合海量數(shù)據(jù)存儲、數(shù)據(jù)同步、數(shù)據(jù)分析、數(shù)據(jù)監(jiān)控等多個核心模塊,提供一套完整的、穩(wěn)定的、可擴展系統(tǒng)。該平臺為不同應(yīng)用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)存取接口,將各個系統(tǒng)的異構(gòu)數(shù)據(jù)按一定標準統(tǒng)一存儲,通過高性能的計算集群和同步分發(fā)技術(shù),將數(shù)據(jù)備份到各存儲模塊上,保障了數(shù)據(jù)的安全性與穩(wěn)定性。同時,數(shù)據(jù)云服務(wù)平臺在確保數(shù)據(jù)安全存取的前提下,將對數(shù)據(jù)做進一步的加工處理,通過平臺底層提供的數(shù)據(jù)分析接口和自定義的數(shù)據(jù)模型,海量數(shù)據(jù)可根據(jù)不同的用戶類型做不同的商業(yè)或科研用途。數(shù)據(jù)云服務(wù)平臺目的在于提供有效地收集日志數(shù)據(jù),統(tǒng)一地管理和分發(fā)數(shù)據(jù),充分地挖掘數(shù)據(jù)潛在價值,在科研和商業(yè)領(lǐng)域都有很大的研究意義。 

【文章來源】：浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：90 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景
    1.2 課題目標
    1.3 本文創(chuàng)新點
    1.4 本文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 研究現(xiàn)狀和相關(guān)技術(shù)
    2.1 日志系統(tǒng)的研究現(xiàn)狀
        2.1.1 Scribe(Facebook)
        2.1.2 Chukwa(Apache)
        2.1.3 Flume(Cloudera)
        2.1.4 Kafka(LinkedIn)
        2.1.5 日志系統(tǒng)總結(jié)
    2.2 相關(guān)技術(shù)
        2.2.1 Zookeeper
        2.2.2 Hyperic HQ
    2.3 本章小結(jié)
第3章 數(shù)據(jù)云服務(wù)平臺的總體設(shè)計
    3.1 總體需求
    3.2 平臺總體架構(gòu)
        3.2.1 分布式日志系統(tǒng)
        3.2.2 數(shù)據(jù)分析系統(tǒng)
        3.2.3 數(shù)據(jù)監(jiān)控管理系統(tǒng)
    3.3 平臺使用流程
        3.3.1 數(shù)據(jù)收集流程
        3.3.2 數(shù)據(jù)分析流程
    3.4 本章小結(jié)
第4章 基于消息機制的分布式日志系統(tǒng)設(shè)計與實現(xiàn)
    4.1 需求分析
    4.2 系統(tǒng)架構(gòu)設(shè)計
    4.3 消息通信協(xié)議設(shè)計
        4.3.1 消息通信協(xié)議格式
    4.4 通信模塊設(shè)計與實現(xiàn)
    4.5 數(shù)據(jù)存取模塊設(shè)計與實現(xiàn)
        4.5.1 數(shù)據(jù)存儲
        4.5.2 數(shù)據(jù)讀取
    4.6 數(shù)據(jù)推送模塊設(shè)計與實現(xiàn)
    4.7 數(shù)據(jù)消費模塊設(shè)計與實現(xiàn)
    4.8 系統(tǒng)分布式特性設(shè)計與實現(xiàn)
        4.8.1 日志服務(wù)端(Broker)分布式實現(xiàn)簡介
        4.8.2 日志消費者(Consumer)分布式實現(xiàn)簡介
    4.9 性能測試及實驗結(jié)果
        4.9.1 測試環(huán)境
        4.9.2 日志系統(tǒng)生產(chǎn)者(producer)發(fā)送日志數(shù)據(jù)的性能測試
        4.9.3 日志消費者(consumer)消費日志數(shù)據(jù)的性能測試
    4.10 本章小結(jié)
第5章 數(shù)據(jù)分析系統(tǒng)設(shè)計與實現(xiàn)
    5.1 數(shù)據(jù)分析系統(tǒng)總體設(shè)計
    5.2 數(shù)據(jù)分析系統(tǒng)運行流程
    5.3 數(shù)據(jù)分析系統(tǒng)的四個模塊
        5.3.1 數(shù)據(jù)開放接口模塊
        5.3.2 數(shù)據(jù)定制模塊
        5.3.3 計算模塊
        5.3.4 任務(wù)管理模塊
    5.4 數(shù)據(jù)分析系統(tǒng)的應(yīng)用
        5.4.1 數(shù)據(jù)分析用戶
        5.4.2 內(nèi)部數(shù)據(jù)用戶
        5.4.3 數(shù)據(jù)產(chǎn)品
    5.5 本章小結(jié)
第6章 數(shù)據(jù)監(jiān)控管理系統(tǒng)
    6.1 數(shù)據(jù)監(jiān)控管理系統(tǒng)總體設(shè)計
    6.2 數(shù)據(jù)監(jiān)控管理系統(tǒng)運行流程
    6.3 數(shù)據(jù)監(jiān)控管理系統(tǒng)的兩個模塊
        6.3.1 監(jiān)控告警模塊
        6.3.2 數(shù)據(jù)可視化模塊
    6.4 本章小結(jié)
第7章 數(shù)據(jù)云服務(wù)平臺在遙感數(shù)據(jù)領(lǐng)域的應(yīng)用展望
    7.1 遙感數(shù)據(jù)簡介
    7.2 遙感數(shù)據(jù)云服務(wù)平臺使用架構(gòu)
    7.3 遙感數(shù)據(jù)產(chǎn)品展望
    7.4 本章小結(jié)
第8章 總結(jié)與展望
    8.1 工作總結(jié)
    8.2 下一步工作
參考文獻
攻讀碩士學(xué)位期間主要的研究成果
致謝



本文編號：3321248