發(fā)布時間：2021-05-12 16:18

　　CDN全稱為Content Delivery Network,中文為內(nèi)容分發(fā)網(wǎng)絡(luò),誕生于20世紀(jì)90年代,由眾多節(jié)點服務(wù)器和全局智能負(fù)載均衡系統(tǒng)組成,用于解決網(wǎng)絡(luò)擁塞問題,為網(wǎng)絡(luò)訪問提供加速服務(wù),是構(gòu)建互聯(lián)網(wǎng)的重要基礎(chǔ)設(shè)施。CDN節(jié)點服務(wù)器日志中記錄了加速服務(wù)請求信息與響應(yīng)信息。通過對CDN節(jié)點服務(wù)器日志進(jìn)行實時分析,挖掘出日志中包含的信息與價值,對CDN加速服務(wù)的核心指標(biāo)進(jìn)行實時檢測與監(jiān)控,為加速服務(wù)質(zhì)量提升策略提供重要且可靠的數(shù)據(jù)支持。由于CDN是一個巨大的分布式網(wǎng)絡(luò),CDN加速平臺平均每秒的數(shù)據(jù)訪問量可達(dá)千萬級別,每秒生成的日志數(shù)據(jù)量可達(dá)GB級別,每天能夠產(chǎn)生大幾PB的日志數(shù)據(jù)。如何設(shè)計一套低延遲、高吞吐的CDN海量日志實時分析平臺,對海量CDN日志進(jìn)行實時分析,是當(dāng)前CDN研究領(lǐng)域亟待解決的問題.。本文分析了CDN海量日志實時分析存在的難點與當(dāng)前解決方案存在的問題,并針對這些問題,提出了相應(yīng)的設(shè)計方案與架構(gòu),最終形成了一套低延遲、高吞吐的CDN日志實時分析平臺架構(gòu)。其中針對海量CDN日志實時接入到日志實時計算引擎這一過程存在的難點與當(dāng)前解決方案存在的日志接收處理能力擴(kuò)展性差、日... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：91 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 選題的背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)概念與技術(shù)
    2.1 相關(guān)概念
        2.1.1 DNS域名解析
        2.1.2 CDN加速服務(wù)
        2.1.3 CDN海量日志實時分析
    2.2 相關(guān)技術(shù)
        2.2.1 負(fù)載均衡
        2.2.2 微服務(wù)注冊與發(fā)現(xiàn)
        2.2.3 流式計算框架
        2.2.4 消息服務(wù)
    2.3 本章小結(jié)
第三章 CDN海量日志實時分析存在的問題及分析
    3.1 海量日志實時接入問題分析
    3.2 海量數(shù)據(jù)實時計算問題分析
    3.3 海量數(shù)據(jù)實時存取問題分析
    3.4 計算引擎與存儲模塊間的耦合問題分析
    3.5 本章小結(jié)
第四章 CDN海量日志實時分析平臺架構(gòu)研究與設(shè)計
    4.1 日志接入組件ARRIS
        4.1.1 概述
        4.1.2 日志接收處理能力線性擴(kuò)展
        4.1.3 日志流量智能切換
        4.1.4 日志處理微服務(wù)實例設(shè)計
    4.2 分析結(jié)果入庫組件AF
        4.2.1 概述
        4.2.2 AA交互機(jī)制
        4.2.3 限流原理
        4.2.4 熔斷原理
        4.2.5 服務(wù)實例設(shè)計
    4.3 分析結(jié)果存儲平臺RTDP
        4.3.1 數(shù)據(jù)存儲種類介紹
        4.3.2 數(shù)據(jù)存儲平臺RTDP設(shè)計
    4.4 本章小結(jié)
第五章 實現(xiàn)與驗證
    5.1 實現(xiàn)
        5.1.1 日志接入組件ARRIS實現(xiàn)
        5.1.2 入庫組件AF實現(xiàn)
    5.2 驗證
        5.2.1 日志接入組件ARRIS性能驗證
        5.2.2 入庫組件AF性能驗證
        5.2.3 平臺整體效果驗證
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
致謝
作者簡介


【參考文獻(xiàn)】：
期刊論文
[1]基于軟件定義網(wǎng)絡(luò)的服務(wù)器集群負(fù)載均衡技術(shù)研究[J]. 于天放,芮蘭蘭,邱雪松.  電子與信息學(xué)報. 2018(12)
[2]基于可變性模型的可復(fù)用與可定制SaaS軟件開發(fā)方法[J]. 孫昌愛,張在興,張鑫.  軟件學(xué)報. 2018(11)
[3]大數(shù)據(jù)流式計算框架Storm的任務(wù)遷移策略[J]. 魯亮,于炯,卞琛,劉月超,廖彬,李慧娟.  計算機(jī)研究與發(fā)展. 2018(01)
[4]大數(shù)據(jù)存儲技術(shù)綜述（英文）[J]. Aisha SIDDIQA,Ahmad KARIM,Abdullah GANI.  Frontiers of Information Technology & Electronic Engineering. 2017(08)
[5]分布式環(huán)境下業(yè)務(wù)模型的數(shù)據(jù)存儲及訪問框架[J]. 蔡鴻明,姜祖海,姜麗紅.  清華大學(xué)學(xué)報(自然科學(xué)版). 2017(06)
[6]Key-Value型NoSQL本地存儲系統(tǒng)研究[J]. 馬文龍,朱妤晴,蔣德鈞,熊勁,張立新,孟瀟,包云崗.  計算機(jī)學(xué)報. 2018(08)
[7]基于HBase+ ElasticSearch的海量交通數(shù)據(jù)實時存取方案設(shè)計[J]. 董長青,任女爾,張慶余,田玉靖.  大數(shù)據(jù). 2017(01)
[8]一種自適應(yīng)文件系統(tǒng)元數(shù)據(jù)服務(wù)負(fù)載均衡策略[J]. 佘楚玉,溫武少,肖揚,劉育擘,賈殷.  軟件學(xué)報. 2017(08)
[9]基于動態(tài)鏡像的實時數(shù)據(jù)倉庫存取預(yù)處理技術(shù)研究[J]. 毛鶯池,閔偉,接青,朱瀝瀝.  計算機(jī)科學(xué). 2015(12)
[10]分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)的負(fù)載均衡框架[J]. 孫耀,劉杰,葉丹,鐘華.  軟件學(xué)報. 2016(12)

博士論文
[1]非結(jié)構(gòu)化數(shù)據(jù)的相關(guān)問題研究[D]. 鄭階財.山東大學(xué) 2017



本文編號：3183728